Dans la nuit du 27 juillet, la société Moonshot AI, basée à Haidian, Pékin, a publié les poids du modèle Kimi K3, son rapport technique, et a ouvert en open source les technologies Infra (infrastructure clé) essentielles à l’entraînement du modèle Kimi K3. « Désormais, tout le monde peut télécharger et déployer le modèle Kimi K3 — que ce soit pour la recherche et développement interne, ou pour l’intégration dans des produits destinés aux utilisateurs finaux, librement. »

Moonshot AI indique que Kimi K3 est son modèle le plus performant. La taille des paramètres de Kimi K3 est environ trois fois celle de Kimi K2.5, mais la mise à l’échelle ne se résume pas à un empilement de paramètres. Dans des conditions de puissance de calcul limitées, l’équipe technique, grâce à une série d’innovations technologiques telles que Kimi Delta Attention, Attention Residuals et MoonEP, a amélioré l’efficacité de la mise à l’échelle de 2,5 fois, c’est-à-dire qu’en termes d’optimalité de la puissance de calcul, l’intelligence produite par unité de calcul est environ 2,5 fois supérieure à celle d’origine.

Parallèlement aux poids du modèle Kimi K3, la méthode d’entraînement du modèle de Moonshot AI a également été rendue publique — le rapport technique de Kimi K3 est désormais disponible en ligne.

Interrogée sur les raisons du choix d’ouvrir son modèle le plus performant, Moonshot AI a déclaré croire fermement en la valeur des modèles à poids ouverts, qui abaissent le seuil d’accès à l’intelligence, favorisent l’innovation, et offrent aux utilisateurs un plus grand contrôle sur leurs données, une meilleure protection de la vie privée et une propriété renforcée. Au cours des dernières semaines, ils ont entendu de nombreux soutiens de la part de la communauté IA et de leaders technologiques partageant la même vision. « Nous croyons que pour une technologie aussi profondément impactante que l’AGI, un écosystème large et ouvert est le terreau le plus adapté pour la porter. Pour cela, nous continuerons à apporter notre contribution. »