AWS lance en Inde le service d'inférence locale Kimi K3

fr.wedoany.com Rapport : Le 3 novembre, Amazon Web Services (AWS) a officiellement lancé en Inde, via la plateforme Amazon Bedrock, le service d'inférence locale du grand modèle Kimi K3 de Moonshot AI, en limitant le périmètre de traitement de l'inférence du modèle aux deux régions AWS de Mumbai et Hyderabad. Ce nouveau service s'adresse aux entreprises indiennes soumises à des exigences de résidence des données ; il permet de répartir les tâches d'inférence du modèle entre les régions sur le territoire indien et offre des fonctionnalités de sortie en flux, d'appel d'outils, de génération de données structurées et de mise en cache des invites.

La configuration d'inférence dédiée à l'Inde mise en ligne cette fois porte l'identifiant in.moonshotai.kimi-k3 et correspond aux deux régions AWS de Mumbai ap-south-1 et Hyderabad ap-south-2. Les entreprises peuvent lancer des appels au modèle depuis l'une ou l'autre région, Amazon Bedrock se chargeant de répartir les tâches d'inférence sur le territoire indien. Le transfert interrégional s'effectue via le réseau interne d'AWS, avec chiffrement des données en transit. Les entreprises peuvent également opter pour la configuration d'inférence mondiale global.moonshotai.kimi-k3 et faire appel aux ressources de calcul d'autres régions prises en charge.

L'entreprise indienne d'appareils de santé intelligents Ultrahuman utilise déjà en environnement de production le modèle Kimi K3 fourni par Amazon Bedrock pour alimenter son assistant de santé à intelligence artificielle Jade. Cet assistant, qui combine les données d'une bague connectée et d'un dispositif de surveillance de la glycémie, traite chaque jour plus de 14 000 conversations utilisateurs. Aditya Patawari, vice-président de l'ingénierie chez Ultrahuman, indique que l'entreprise a réduit de 80 % le coût d'utilisation du grand modèle de langage grâce à la mise en cache des invites, accru de 85 % la vitesse de réponse des conversations multi-tours et retenu la région de Mumbai comme région d'inférence de secours.

Le service Kimi K3 proposé par AWS prend en charge quatre types d'interfaces d'appel : Chat Completions, Responses, Converse et InvokeModel. Les développeurs peuvent accéder au modèle via une API compatible avec le format OpenAI et contrôler les appels au modèle au moyen des autorisations d'AWS Identity and Access Management. La configuration d'inférence dédiée à l'Inde prend en charge les réponses en flux, l'appel d'outils et la sortie de données conforme à une structure JSON spécifiée.

AWS a également publié un exemple de code basé sur Kimi K3 pour la reconnaissance de documents en hindi et l'extraction d'informations, illustrant le traitement de factures numérisées, de documents de vérification d'identité et de textes mixtes hindi-anglais. Cet exemple couvre la reconnaissance de texte, la conversion des formats de date, la normalisation des chiffres en hindi, l'extraction de champs JSON structurés et les questions-réponses multi-tours, et fournit des configurations d'appel de fonctions et de sortie contrainte par JSON Schema.

Selon la tarification standard des services publiée par AWS, le service d'inférence locale en Inde est facturé 3,30 dollars par million de jetons en entrée, 16,50 dollars en sortie, 0,33 dollar pour la lecture du cache et 4,125 dollars pour l'écriture dans le cache pendant 30 minutes. La configuration d'inférence mondiale correspond à des prix d'entrée et de sortie de 3 dollars et 15 dollars respectivement. AWS propose également les niveaux de service Flex et Priority, Flex étant facturé à 50 % du prix standard et Priority à 175 % du prix standard, le champ d'application précis dépendant de la configuration du niveau de service concerné.