Le processeur d'inférence Jalapeño, co-développé par OpenAI et Broadcom, sera déployé fin 2026

fr.wedoany.com Rapport : Le processeur d'inférence Jalapeño, développé en collaboration entre OpenAI et Broadcom, devrait commencer un déploiement à petite échelle fin 2026. Ho estime qu'au début du déploiement, il s'agira de « volumes très faibles », avec un déploiement à plus grande échelle prévu en 2027. Ses performances seront comparées au système Blackwell de Nvidia, mais d'ici le déploiement complet de Jalapeño, les produits concurrents pourraient avoir considérablement progressé.

Jalapeño a été dévoilé pour la première fois en octobre dernier, développé en étroite collaboration entre OpenAI et Broadcom, les propres modèles d'OpenAI ayant également participé au processus de développement. L'entreprise prévoit de faire de Jalapeño une plateforme multi-générations, permettant le développement coordonné des produits IA, des modèles, des puces et de la mémoire.

Cette approche full-stack permet à OpenAI d'optimiser les étapes spécifiques qui créent des frictions lors de l'inférence. La conception de Jalapeño vise principalement à minimiser la latence des phases de préremplissage (prefill) et de communication, qu'OpenAI identifie comme les principaux goulots d'étranglement de l'inférence.

« Nous avons conçu Jalapeño pour minimiser les déplacements de données et la latence de communication », indique l'entreprise dans un article de blog présentant les résultats. « Cela signifie que l'état du modèle (y compris le cache KV utilisé lors de la génération des réponses) peut être explicitement placé et maintenu localement, tandis que le système active la bonne combinaison de calcul, de mémoire et de réseau pour chaque phase d'inférence. »