Le laboratoire Thinking Machines Lab publie le modèle open source Inkling à 975 milliards de paramètres

fr.wedoany.com Rapport : Fondé par Mira Murati, ancienne directrice technique d’OpenAI, le laboratoire Thinking Machines Lab a publié le modèle à poids ouverts Inkling. Ce modèle totalise 975 milliards de paramètres, adopte une architecture experte mixte, n’active qu’environ 41 milliards de paramètres pour une tâche donnée, prend en charge une fenêtre contextuelle allant jusqu’à 1 million de tokens et a été entraîné sur 45 000 milliards de tokens de données textuelles, images, audio et vidéo. Inkling est capable de raisonner sur du texte, des images et de l’audio, mais ne produit actuellement que du texte, y compris du code et des données structurées.

Thinking Machines Lab ne prétend pas qu’Inkling est en tête des performances. Ses propres documents le décrivent comme « pas le modèle le plus puissant actuellement disponible, qu’il soit fermé ou ouvert ». Le laboratoire vise l’étendue et l’adaptabilité, positionnant Inkling comme un modèle de base que les organisations peuvent affiner elles-mêmes, plutôt qu’un chatbot prêt à l’emploi. Les utilisateurs peuvent ajuster le compromis entre précision et vitesse en modulant « l’effort de réflexion ». L’entreprise indique que, dans un test de codage, Inkling a atteint le même niveau en consommant seulement un tiers des tokens de Nvidia Nemotron 3 Ultra. Le laboratoire a également présenté une version légère, Inkling-Small, avec 12 milliards de paramètres actifs, conçue pour des tâches prioritaires en coût et en vitesse.

L’ensemble de cette publication repose sur une hypothèse centrale : une intelligence artificielle entraînée et figée en un seul lieu sera surpassée par des modèles que chaque organisation peut façonner selon ses propres expertises. Les clients affinent Inkling via la plateforme de personnalisation Tinker de Thinking Machines Lab, en possèdent les résultats et assument les risques de sécurité de ce qu’ils construisent. Le laboratoire cite en exemple un projet de collaboration avec le fonds spéculatif Bridgewater, où un modèle open source a été entraîné sur les connaissances financières de Bridgewater, obtenant un score de 84,7 % dans un test de raisonnement financier, battant des modèles propriétaires de premier plan à un coût très faible. Ces données proviennent des propres évaluations des deux entreprises, et non d’un tiers indépendant.

Thinking Machines Lab met en avant sa rapidité de développement. TechCrunch souligne qu’OpenAI a mis environ cinq ans pour se lancer et devenir rentable, Anthropic environ trois ans, tandis que le laboratoire de Murati affirme avoir mis environ neuf mois. Pour atteindre cette vitesse, le laboratoire a pris des raccourcis : pour lancer l’entraînement d’Inkling, il s’est appuyé sur d’autres modèles open source, dont Kimi K2.5 de Moonshot, une pratique appelée distillation. Le laboratoire indique que son prochain modèle sera entièrement entraîné de manière autonome. Inkling fonctionne sur le système Nvidia GB300, dans le cadre d’une transaction de 1 gigawatt de puissance de calcul Nvidia conclue en mars.

Actuellement, Thinking Machines Lab propose Inkling entièrement gratuitement, ses revenus provenant de la plateforme de personnalisation Tinker. Le financement et les effectifs du laboratoire ont connu des difficultés : l’année dernière, il a levé 2 milliards de dollars pour une valorisation de 12 milliards, tandis qu’un tour de table de 50 milliards de dollars aurait échoué ; plus tôt cette année, deux cofondateurs ont quitté l’entreprise, et les effectifs sont désormais revenus à environ 200 personnes. Dans son manifeste de publication, le laboratoire écrit : « Nous croyons qu’il faut rester joyeusement excentrique. »