fr.wedoany.com Rapport : Baseten Inc. est en train de lever 1,5 milliard de dollars, un tour de table co-dirigé par Altimeter Capital, Conviction, Spark Capital, Sands Capital et Wellington Management. Selon le Wall Street Journal, certains investisseurs ont acheté des actions sur la base d'une valorisation de 11 milliards de dollars, tandis que les conditions d'investissement d'autres soutiens fixent la valorisation à 13 milliards de dollars.
Baseten propose une plateforme de services pour automatiser la construction et la gestion de clusters d'inférence dans le cloud. Grâce à cette plateforme, les développeurs peuvent éviter les tâches fastidieuses telles que l'attribution de cartes graphiques, la configuration du réseau et l'installation d'outils logiciels. Le logiciel de Baseten peut être utilisé à la fois comme service hébergé et comme application indépendante déployée dans l'environnement cloud public de l'entreprise.
Le cœur de la plateforme repose sur trois modules appelés moteurs d'inférence, qui optimisent les performances des modèles d'IA des clients et collectent des données sur les problèmes techniques. Le moteur BIS-LLM est conçu pour les grands modèles de langage utilisant une architecture de mélange d'experts. Ces modèles contiennent plusieurs réseaux neuronaux, chacun dédié à une tâche différente. BIS-LLM améliore l'efficacité du modèle en optimisant son cache KV et configure automatiquement davantage de matériel lorsque l'utilisation de tokens du modèle augmente. Le deuxième moteur, Engine-Builder-LLM, est optimisé pour les LLM denses, qui sont constitués d'un seul ensemble de neurones artificiels plutôt que de plusieurs réseaux neuronaux. Engine-Builder-LLM utilise une technique de décodage anticipé, capable de générer plusieurs tokens à la fois, accélérant ainsi l'inférence. Le troisième moteur, BEI, est destiné aux modèles d'IA plus simples et peut piloter des modèles d'embedding, de classification de données et de recherche.
Baseten utilise un module logiciel appelé MCM pour répartir les charges de travail d'inférence sur plusieurs clouds publics. Si l'un des clouds tombe en panne, MCM redirige les requêtes vers les plateformes encore en ligne. Selon l'entreprise, cette capacité de changement de fournisseur est également très utile en cas de pénurie de cartes graphiques dans les principaux clouds publics. La plateforme prend directement en charge des dizaines de modèles d'IA open source, et les clients peuvent également déployer des algorithmes personnalisés à l'aide d'un outil appelé Truss, qui empaquette automatiquement les LLM dans un format compatible avec Baseten.
La plateforme Baseten permet non seulement l'inférence de LLM personnalisés, mais aussi leur entraînement. Elle inclut une fonction de sauvegarde qui enregistre régulièrement des copies du réseau neuronal pendant l'entraînement. En cas de problème technique, les développeurs peuvent restaurer la dernière copie de sauvegarde sans avoir à recommencer l'entraînement depuis le début. Ce tour de table intervient moins de six mois après le précédent, où 300 millions de dollars avaient été levés auprès d'investisseurs incluant Nvidia et CapitalG.
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.com
