fr.wedoany.com Rapport : Cafe24 a annoncé le 23 le lancement d'un service d'infrastructure d'exploitation d'IA baptisé « Routeur de modèle de langage de grande taille (LLM) », qui permet d'utiliser plus de 120 modèles d'IA via une seule interface de programmation d'application (API).
La fonction principale du routeur LLM est d'agir comme un « orchestrateur », connectant plus de 120 interfaces des principaux modèles d'IA tels que ChatGPT, Claude et Gemini à une plateforme unique, et de sélectionner, d'attribuer et de basculer automatiquement le modèle approprié en fonction de la requête saisie par l'utilisateur.
Ce service prend en charge l'utilisation de plus de 120 modèles d'IA, y compris les modèles de la série GPT d'OpenAI, ainsi que Claude, Gemini, DeepSeek, Qwen, Llama, etc., via une seule API. Son cœur est le moteur de routage, qui analyse les types de tâches telles que le codage, le raisonnement, la traduction et la création en fonction du contenu de la requête de l'utilisateur, et connecte automatiquement le modèle d'IA le plus approprié. Si l'utilisateur a préalablement spécifié une plage de modèles disponibles, le système se connecte automatiquement dans cette plage uniquement, sans que l'utilisateur ait besoin de comparer ou de sélectionner les modèles un par un.
Ce service offre également une fonction de définition des priorités des fournisseurs de services d'IA selon les critères de l'utilisateur. Parmi plusieurs fournisseurs de services d'IA proposant le même modèle, le système se connecte automatiquement au fournisseur le plus approprié en fonction des critères choisis par l'utilisateur, tels que le coût, la vitesse ou le volume de traitement. Par exemple, pour un même modèle Claude, si l'utilisateur privilégie le coût, le système se connecte automatiquement au fournisseur le plus rentable ; si la vitesse est privilégiée, il se connecte au fournisseur le plus rapide. Parallèlement, le service prend en charge les fonctions de liste blanche et de liste noire, permettant à l'utilisateur de spécifier les fournisseurs de services d'IA à autoriser ou à exclure, offrant ainsi un contrôle flexible de la plage de connexion automatique.
Pour faire face aux situations où un modèle d'IA spécifique ne répond pas, le routeur LLM prend en charge une « fonction de basculement automatique ». L'utilisateur peut prédéfinir un modèle principal et un modèle de remplacement ; lorsque le modèle principal ne répond pas, le modèle candidat suivant prend automatiquement le relais pour traiter la requête. Par exemple, si Claude, utilisé comme modèle principal, ne répond pas, un autre modèle préalablement spécifié assume automatiquement la tâche, construisant ainsi un environnement d'exploitation continu.
Les utilisateurs peuvent gérer visuellement plusieurs modèles d'IA dans un seul environnement. Grâce à un « tableau de bord en temps réel », ils peuvent consulter sur un seul écran des données telles que le nombre de requêtes, les coûts, les tendances d'utilisation des jetons, la répartition des coûts par modèle, ainsi que les taux de succès et d'échec. Le service prend également en charge les enregistrements détaillés au niveau des requêtes, ainsi que le suivi de l'utilisation par équipe, projet et environnement, aidant les utilisateurs à mieux comprendre l'utilisation de l'IA et la structure des coûts.
Les utilisateurs peuvent également connecter leurs propres clés de modèles d'IA au routeur LLM pour l'utiliser. Grâce au mode « BYOK (Bring Your Own Key) », après avoir enregistré les clés des modèles GPT, Claude, Gemini, etc. qu'ils utilisent, les utilisateurs peuvent utiliser ces modèles directement dans l'environnement du routeur LLM et gérer directement les coûts d'utilisation des modèles d'IA.
Le routeur LLM adopte un modèle de facturation basé sur le crédit, avec paiement à l'utilisation. Les utilisateurs reçoivent un crédit gratuit lors de l'inscription et peuvent expérimenter le service directement.
Cafe24 prévoit d'étendre à l'avenir la prise en charge de nouveaux modèles d'IA et de nouveaux fournisseurs de services d'IA, et de continuer à développer des fonctionnalités améliorant la commodité de l'exploitation et de la gestion de l'IA.
Lee Jae-seok (son), représentant de Cafe24, a déclaré qu'avec la croissance rapide du nombre de types de modèles d'IA, la manière de les connecter et de les exploiter efficacement est devenue un nouveau défi. Il a ajouté que l'entreprise continuerait à jouer son rôle d'infrastructure de manière solide, afin que les utilisateurs puissent utiliser plus facilement divers modèles d'IA.
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.com
