Meta publie le modèle d'agent intelligent Glimmer à 30 milliards de paramètres

fr.wedoany.com Rapport : Le 10 août, la société technologique américaine Meta a publié le modèle d'intelligence artificielle Muse Glimmer et a ouvert les poids du modèle sous licence Apache 2.0. Ce modèle, doté de 30 milliards de paramètres, est conçu pour des flux de travail d'agents locaux fonctionnant en continu. Il peut être déployé sur un Mac ou un PC équipé d'un seul GPU grand public, sans nécessiter une connexion continue aux services cloud.

Muse Glimmer prend en charge les entrées texte et image, avec des données d'entraînement couvrant plus de 100 langues. Il peut exécuter des tâches multi-étapes telles que l'appel de fonctions, l'écriture et le débogage de code, ainsi que le traitement de fichiers et de captures d'écran. Le modèle est capable d'identifier les problèmes après un échec d'appel d'outil et de réessayer, et peut également ajuster l'intensité de son raisonnement en fonction des exigences de la tâche, offrant un choix entre vitesse de traitement et qualité de sortie.

Pour s'adapter au matériel grand public, Meta a utilisé une technologie de quantification d'environ 4 bits, compressant le modèle, qui nécessitait initialement plus de 55 Go de mémoire, à moins de 20 Go. Cela permet aux poids du modèle, à la mémoire de travail, à l'encodeur de perception d'images et au module de décodage spéculatif de fonctionner simultanément dans un environnement de 24 Go ou 32 Go de mémoire. Le module de décodage spéculatif DFlash associé peut générer des jetons candidats par lots. Les tests de Meta montrent que la vitesse de décodage est améliorée d'environ 3,1 fois sur une carte graphique RTX 5090, et de 1,8 fois et 1,5 fois sur les appareils M5 Max et M4 Max, respectivement.

L'entraînement du modèle utilise le Muse Spark précédemment publié par Meta comme modèle enseignant, et les capacités d'agent sont obtenues grâce à la distillation de sortie, à l'entraînement sur de longs contextes, à l'apprentissage supervisé par fine-tuning et à l'apprentissage par renforcement. Les poids du modèle Muse Glimmer sont désormais disponibles sur Hugging Face, et Meta fournira progressivement des versions adaptées aux frameworks tels que llama.cpp, MLX et ExecuTorch.

Glimmer est actuellement ouvert aux développeurs sous forme de poids de modèle et de documentation de développement, et peut être utilisé pour créer des applications d'agent personnel telles que la gestion d'agenda, l'organisation de fichiers, la rédaction d'informations et la programmation locale. Le même jour, Meta a inscrit l'exécution locale et le traitement privé des données dans sa direction de développement de la « superintelligence personnelle », tandis que son modèle Muse Spark, plus performant, n'a toujours pas ouvert ses poids de modèle.