Google met à jour Android Bench pour évaluer les grands modèles de langage dans le développement Android

fr.wedoany.com Rapport : Google a mis à jour le benchmark Android Bench, un outil utilisé pour évaluer les performances des grands modèles de langage (LLM) dans les tâches de développement Android. Les ingénieurs de Google ont repensé la méthodologie de test, ajouté de nouveaux modèles et permis aux développeurs de participer à l’élaboration des ensembles de tests.

Cette mise à jour consiste principalement à passer au framework Harbor, qui est désormais chargé d’exécuter tous les tests Android Bench. Ce changement permet de garantir une évaluation plus cohérente des modèles, des résultats reproductibles et une intégration plus rapide de nouveaux scénarios de test. De plus, le nouveau système évalue non seulement la qualité des réponses, mais aussi le coût et l’efficacité de chaque LLM spécifique.

Les développeurs tiers peuvent désormais influencer l’orientation du benchmark. Google encourage les développeurs à partager des tâches de travail réelles et à discuter des méthodes d’évaluation des modèles, ce qui permet de mettre à jour régulièrement les ensembles de tests et de refléter plus précisément les cas d’utilisation des LLM dans le développement Android.

Plusieurs modèles de langage ont été ajoutés au tableau des résultats, notamment Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Max et Qwen 3.7 Plus. Actuellement, les trois premiers sont Claude Fable 5, GPT 5.5 et Claude Sonnet 5.