Huawei annonce l’open-sourcing des modèles Pangu 7B dense et 72B MoE

Huawei a rejoint le mouvement open-source en publiant son premier grand modèle d'IA.

Le modèle Pro MoE 72B récemment mis en open-source, avec 72 milliards de paramètres et 16 milliards de paramètres activés, utilise une conception innovante de réseau d'experts dynamiques, offrant des performances exceptionnelles capables de rivaliser avec des modèles de l'ordre des centaines de milliards de paramètres, tout en restant compact. Selon le classement de mai 2025 du Super CLUE, un classement de référence dans l'industrie, ce modèle se place à égalité au premier rang national parmi les modèles avec moins de 100 milliards de paramètres.