Rebellion, une entreprise sud-coréenne, exécute avec succès le modèle d'IA de 500 milliards de paramètres de SK Telecom

fr.wedoany.com Rapport : Rebellion, une entreprise sud-coréenne, a exécuté avec succès le modèle de base d'intelligence artificielle (IA) autonome « A.X K1 (K1) » de SK Telecom sur son serveur d'IA propriétaire « RebelServer ». Sur cette base, elle a mis en œuvre un service d'agent d'IA permettant à plusieurs utilisateurs d'y accéder simultanément, validant ainsi la faisabilité opérationnelle de services d'IA à grande échelle combinant un grand modèle d'IA national et une unité de traitement neuronal (NPU).

Rebellion a annoncé le 23 que cette démonstration a exécuté le modèle K1, dont le nombre de paramètres dépasse 500 milliards (500B), sur le RebelServer. La société a indiqué qu'avec une simple configuration de serveur unique, elle peut atteindre des performances d'inférence d'IA équivalentes à celles des serveurs mondiaux de pointe à unité de traitement graphique (GPU), améliorant ainsi l'efficacité de la construction et de l'exploitation des centres de données.

Les deux parties ont réalisé une amélioration des performances en combinant la structure de mélange d'experts (MoE) du K1 avec les technologies d'optimisation logicielle de Rebellion. Rebellion a appliqué une technologie permettant de répartir efficacement diverses opérations sur les puces semi-conductrices, de sorte qu'un seul serveur puisse traiter sans goulot d'étranglement les requêtes de plusieurs utilisateurs. Lors de la démonstration, la fonctionnalité d'un « agent d'IA de type carte (Map) » a été présentée : plusieurs utilisateurs se connectent simultanément et saisissent différentes questions, telles que « pharmacie disponible le week-end », et le K1 génère des réponses en temps réel et affiche les résultats sur une carte. Rebellion estime que cela confirme la possibilité d'exploiter de manière stable un service d'IA multi-utilisateurs uniquement avec un modèle d'IA national et une NPU nationale.

Park Seong-hyeon, représentant de Rebellion, a déclaré que cette démonstration est un cas d'IA souveraine où un service d'IA à grande échelle peut être exploité en utilisant uniquement un modèle de très grande taille national et une NPU nationale, tout en prouvant l'efficacité et la disponibilité pratique de l'infrastructure. Il est rapporté que Rebellion, en tant que membre de l'alliance SK Telecom dans le cadre du projet de modèle de base d'IA autonome du ministère des Sciences et des TIC, valide actuellement l'infrastructure d'IA basée sur la NPU nationale. La société prévoit également de promouvoir la diffusion de l'infrastructure d'IA nationale en s'appuyant sur son expérience dans l'exploitation de services d'IA en temps réel tels que le « résumé d'appels A. »