fr.wedoany.com Rapport : Google a publié d'un coup quatre modèles de langage grands ouverts de différentes tailles. Le 2 avril, heure locale, Google a officiellement lancé la famille de modèles Gemma 4, couvrant une gamme complète de produits allant de 2 à 31 milliards de paramètres.

Selon l'annonce officielle de Google, Gemma 4 comprend quatre modèles généraux : une version efficace à 2 milliards de paramètres (E2B), une version efficace à 4 milliards de paramètres (E4B), un modèle Mixture of Experts (MoE) à 26 milliards de paramètres, et un modèle dense à 31 milliards de paramètres (31B). L'architecture MoE se caractérise par l'activation de seulement une partie des paramètres lors de l'inférence, ce qui signifie que le coût de calcul réel du modèle de 26 milliards de paramètres est bien inférieur à celui d'un modèle dense de taille équivalente. La version dense à 31 milliards est quant à elle la version la plus grande et la plus puissante de la série en termes de nombre de paramètres.

La série Gemma est une famille de modèles de langage légers lancée par Google pour la communauté open source. Les versions Gemma 1 et Gemma 2 avaient déjà été publiées auparavant et peuvent fonctionner sur du matériel grand public. Les nouvelles versions E2B et E4B mettent l'accent sur une inférence efficace, adaptée aux appareils périphériques et aux scénarios mobiles. Les versions MoE à 26 milliards et dense à 31 milliards sont conçues pour le déploiement dans le cloud et les tâches complexes.

Dans le domaine des modèles de langage grands ouverts, les séries Llama 3 de Meta (8B, 70B, 405B) et Phi de Microsoft (axées sur un petit nombre de paramètres et une haute efficacité) sont actuellement les principaux concurrents. L'arrivée de Gemma 4 comble la gamme de produits de Google dans l'intervalle de 2 à 31 milliards de paramètres, offrant ainsi plus de choix aux développeurs.