Récemment, Facewall Intelligence, en collaboration avec l'Université Tsinghua et la communauté open source OpenBMB, a officiellement publié et ouvert en open source son dernier résultat dans le domaine de l'entraînement de grands modèles à faible bit — BitCPM-CANN. Il s'agit du premier grand modèle ternaire (1,58-bit) entièrement entraîné de bout en bout et publié en open source sur une plateforme de calcul nationale (Huawei Ascend).

Depuis longtemps, le goulot d'étranglement physique de la mémoire constitue un défi pour l'application à grande échelle des grands modèles, la mémoire devenant l'une des ressources les plus tendues de la chaîne d'approvisionnement mondiale en IA. Dans ce contexte, BitCPM-CANN adopte une approche d'entraînement sensible à la quantification, obligeant chaque bit à déployer une densité d'information et une efficacité de stockage des connaissances maximales. Parallèlement, l'optimisation de la mémoire vidéo par un facteur 6 offerte par BitCPM-CANN permet aux entreprises d'améliorer les capacités du modèle ou la densité de service sans augmenter la mémoire physique.

Il convient de noter que, depuis les opérateurs de quantification les plus bas niveau et les algorithmes d'entraînement sensibles à la quantification, jusqu'à la stratégie de parallélisation complète et le cadre d'entraînement, toute la chaîne d'entraînement de BitCPM-CANN a été réalisée de manière native sur Huawei Ascend. Elle comprend quatre tailles de modèles : 0,5B, 1B, 3B et 8B. Comparé élément par élément à la famille MiniCPM-4 en pleine précision de même taille, ses performances sont excellentes. Il s'agit du premier résultat public sur la plateforme Ascend à avoir accompli un entraînement 1,58-bit de bout en bout et une évaluation comparative en pleine précision, avec une échelle de modèle portée d'un seul coup jusqu'au niveau 8B.

Les professionnels du secteur estiment que la publication et l'open source de BitCPM-CANN réalisent une boucle complète et fermée intégrant un NPU national, un modèle national et un cadre d'entraînement national, offrant ainsi à l'industrie de l'IA côté terminal une solution de modèle à faible bit directement utilisable.