Une mécanique fractale à l'origine de l'instabilité des résultats d'entraînement de l'IA découverte à l'Université de Sydney, en Australie

fr.wedoany.com Rapport : Le 6 novembre, l'Université de Sydney, en Australie, a publié les résultats d'une recherche fondamentale sur l'intelligence artificielle : grâce à des expériences d'entraînement portant sur environ 500 000 réseaux de neurones, les chercheurs ont découvert que l'imprévisibilité des résultats d'entraînement des réseaux de neurones est liée à une structure mathématique fractale appelée « bassins imbriqués » (Riddled Basins). Dans certaines expériences, même en utilisant les mêmes données d'entraînement, le même algorithme et un environnement de calcul déterministe, une variation infime des paramètres initiaux du modèle pouvait encore faire converger l'entraînement vers des résultats différents. Les travaux correspondants ont été publiés dans la revue Nature Machine Intelligence.

Cette recherche a été menée conjointement par Pulin Gong, professeur à la Faculté de physique de l'Université de Sydney, et Andrew Ly, doctorant. L'équipe de recherche a analysé le processus d'entraînement de réseaux de neurones dans des tâches de reconnaissance d'images et de traitement de texte, examiné la relation entre différents paramètres initiaux et les résultats finaux d'entraînement, et trouvé, dans diverses architectures de réseaux, jeux de données et méthodes d'entraînement, des preuves concordant avec la structure fractale des bassins imbriqués.

Les chercheurs ont découvert que la frontière des bassins d'attraction de l'entraînement des réseaux de neurones peut présenter une structure fractale hautement imbriquée. Différentes conditions initiales correspondent à différents états finaux d'entraînement, et les régions correspondant à ces états s'entrecroisent dans l'espace des paramètres. Les expériences montrent que ce phénomène n'apparaît pas seulement dans des environnements d'entraînement soumis à des perturbations aléatoires, mais peut également se produire dans des conditions de calcul entièrement déterministes.

Dans une expérience de grande envergure sur un réseau de reconnaissance d'images, l'équipe de recherche a augmenté la précision de réglage des paramètres initiaux d'un facteur 10 milliards ; la reproductibilité des résultats d'entraînement n'a toujours pas montré d'amélioration mesurable. Lorsque les chercheurs ont modifié un seul bit dans la configuration initiale, environ 48 % des expériences ont produit une configuration finale différente des paramètres internes. Ce résultat montre que, dans certains réseaux de neurones, la simple augmentation de la précision des paramètres initiaux ne suffit pas à garantir la cohérence des résultats d'entraînement.

La recherche a également révélé l'existence d'un compromis entre les performances d'apprentissage des réseaux de neurones et la reproductibilité des résultats d'entraînement. Certaines configurations de paramètres d'entraînement permettant d'obtenir de bonnes performances d'apprentissage présentent en même temps une plus grande sensibilité des résultats. Réduire le taux d'apprentissage peut améliorer la reproductibilité de l'entraînement dans les expériences, mais affaiblit l'effet d'apprentissage du réseau. Les chercheurs proposent donc d'étudier plus avant la réduction des conditions mathématiques responsables de l'instabilité des résultats d'entraînement, en ajustant l'architecture des réseaux de neurones et les mécanismes d'entraînement.