Nutanix lance un plan de contrôle de passerelle d’agents pour optimiser les coûts de tokens d’IA

fr.wedoany.com Rapport : Nutanix a lancé Agent Gateway, un plan de contrôle d’IA, visant à offrir aux entreprises un moyen centralisé de gérer l’utilisation des modèles et d’optimiser les coûts de tokens. Cet outil répond au problème des dépenses de tokens « désordonnées » causées par les employés utilisant des modèles de pointe pour des tâches simples comme le résumé de documents, en fournissant une vue unifiée pour savoir qui utilise quoi et comment contrôler l’utilisation des tokens.

Cette passerelle, déployée entre les utilisateurs, les applications et les modèles open-weight et de pointe de plus en plus nombreux, permet aux entreprises de définir des politiques sur qui peut utiliser quel modèle en fonction des charges de travail et des coûts. Rajiv Ramaswami, PDG de Nutanix, positionne ce plan de contrôle comme un outil pour définir le retour sur investissement (ROI) des déploiements d’IA, en précisant quelles équipes peuvent utiliser quels outils et modèles, pour quels cas d’usage, et combien de tokens elles sont autorisées à dépenser.

Lors d’une conférence de presse, Ramaswami a déclaré qu’actuellement, tout le monde peut accéder à tout, mais qu’avec Agent Gateway, les entreprises peuvent établir des règles permettant aux équipes d’ingénierie d’utiliser des « modèles simples » pour certains cas d’usage, réservant les systèmes les plus avancés aux applications multi-agents les plus complexes. Il a souligné que ce concept de passerelle d’IA a trouvé un écho auprès des cadres dirigeants avant son lancement, suscitant un vif intérêt lors de réunions avec des DSI et des directeurs des opérations (COO) à Londres, et qu’il est devenu une préoccupation majeure pour les DSI, COO, et même les directeurs financiers (CFO). Nutanix pousse ses partenaires à rattraper leur retard pour transmettre ce message aux clients.

Agent Gateway fait partie de la pile IA de Nutanix (Enterprise AI 2.7), qui connecte les utilisateurs d’IA et les agents aux modèles ainsi qu’aux outils et serveurs compatibles avec le protocole de contexte de modèle (MCP), et applique les politiques et règles prédéfinies par les opérateurs d’infrastructure. Ramaswami a promis que la plateforme évoluera au fil du temps, la concevant comme une « IA dans l’IA », capable de devenir plus intelligente et de comprendre les applications elles-mêmes, afin de choisir automatiquement le modèle approprié et d’optimiser les coûts.

Actuellement, cette passerelle est destinée à la pile d’inférence basée sur GPU de Nutanix, qui fonctionne sur Kubernetes et fournit des points de terminaison d’inférence partagés pour les modèles open-weight et de pointe hybrides. Cette pile repose actuellement sur Nvidia, mais Nutanix prévoit de prendre en charge AMD « d’ici la fin de l’année », une décision qui fait suite à l’investissement de 150 millions de dollars d’AMD dans Nutanix en février. Ramaswami a indiqué que Nutanix souhaite à terme être indépendant du matériel, en étendant la prise en charge de plusieurs plateformes matérielles, et en proposant une pile d’inférence et une passerelle pour aider les entreprises à déployer et utiliser l’IA de manière rentable, avec la possibilité de fonctionner à l’avenir sur des Google TPU ou des GPU AMD, offrant ainsi une gamme d’options de coûts.