L'évaluation METR américaine montre que la vitesse d'amélioration des capacités des modèles d'Anthropic atteint 1,9 fois le niveau précédent

fr.wedoany.com Rapport : Le 5 novembre, l'organisme américain d'évaluation de l'intelligence artificielle METR a publié un rapport d'évaluation indépendant sur les progrès de développement des modèles d'Anthropic. L'équipe de recherche a mené une évaluation interne de 11 semaines, du 12 août au 29 octobre, analysant les données relatives à l'entraînement des modèles, à l'apprentissage par renforcement, aux investissements en puissance de calcul et aux tests de référence des capacités. Les résultats montrent que, depuis octobre 2025, la vitesse de progression des modèles d'Anthropic dans les tests de référence des capacités atteint environ 1,9 fois le niveau précédent, avec un intervalle de confiance à 95 % de 1,5 à 2,8 fois.

Cette évaluation a bénéficié d'un accès aux données internes de développement des modèles d'Anthropic, couvrant le pré-entraînement, l'apprentissage par renforcement, la puissance de calcul d'entraînement, les tests de référence internes des modèles et l'efficacité du développement assisté par intelligence artificielle. METR a également mené des entretiens et des enquêtes auprès des chercheurs concernés et a intégré les résultats de tests de modèles non encore publiés. L'étude utilise la version Anthropic de l'indice de capacité Epoch (AECI) pour mesurer l'évolution des capacités des modèles et compare les tendances de croissance des capacités à différentes étapes.

Selon les résultats de l'évaluation, les progrès réalisés par Anthropic dans les tests de référence des modèles au cours de la dernière année équivalent à environ deux années de progrès antérieurs. METR a effectué des tests de robustesse avec différents échantillons de modèles, tests de référence et méthodes statistiques, obtenant des multiplicateurs de vitesse d'amélioration des capacités compris entre 1,1 et 2,9. Parmi ceux-ci, les résultats calculés à partir de différents instantanés de modèles se situent entre 1,9 et 2,2 fois, et les résultats après ajustement des tests de référence sont également de 1,9 à 2,2 fois.

METR a analysé des facteurs tels que la croissance de la puissance de calcul d'entraînement, les effectifs engagés, l'amélioration des données et la recherche algorithmique. L'équipe de recherche estime que l'accélération récente de l'amélioration des capacités des modèles est principalement liée à la participation de l'intelligence artificielle aux travaux de recherche et développement. Selon son estimation subjective, à octobre 2026, environ 80 % de l'accélération actuelle des progrès de la recherche et développement pourrait être attribuée à l'application de l'intelligence artificielle, mais cette proportion comporte une grande incertitude.

Les entretiens menés auprès des chercheurs montrent qu'Anthropic a largement déployé les systèmes d'intelligence artificielle dans la rédaction de code, l'exécution d'expériences et d'autres tâches de développement de modèles. Les gains de productivité déclarés par les employés continuent d'augmenter, certaines réponses à l'enquête d'octobre 2026 atteignant 12 fois. METR utilise ces résultats d'enquête comme preuves auxiliaires et estime qu'à ce stade, l'amélioration de l'efficacité de la recherche et développement provient encore principalement de l'assistance de l'intelligence artificielle aux chercheurs dans l'accomplissement de leurs tâches.

Le rapport évalue également les facteurs susceptibles de limiter la croissance des capacités des modèles, notamment les progrès algorithmiques, la puissance de calcul d'entraînement, la puissance de calcul expérimentale et l'approvisionnement en données. L'équipe de recherche de METR n'a identifié, dans les preuves disponibles, aucun goulot d'étranglement majeur susceptible de limiter nécessairement la poursuite de cette progression rapide des capacités au cours des 12 prochains mois, tout en conservant une grande incertitude quant à la vitesse de développement ultérieure.

Au cours de cette évaluation, Anthropic a procédé à des suppressions concernant certaines preuves importantes relatives à des modèles non publiés, à l'efficacité interne de la recherche et développement et aux prévisions de capacités futures. METR a conservé dans son rapport public les principaux résultats statistiques, les méthodes d'évaluation et l'analyse des incertitudes.