OpenAI continue de dévoiler ses cartes dans la course au matériel. Lors de la conférence Hot Chips, l'entreprise a pour la première fois présenté en détail sa puce d'inférence — Jalapeño — et a partagé de nouveaux résultats de tests qui ont surpris plus d'un. Si ces chiffres se confirment dans des charges réelles, le rapport de force sur le marché de l'inférence de modèles pourrait sensiblement évoluer.
Ce que les tests ont montré
Dans le benchmark SemiAnalysis InferenceX, le nouveau processeur a surpassé les solutions d'inférence actuelles de niveau state-of-the-art sur deux métriques importantes : le nombre de tokens par utilisateur et le débit par kilowatt de puissance consommée. La comparaison a été effectuée avec le système NVIDIA Blackwell, actuellement considéré comme l'une des références dans les tâches d'inférence de réseaux de neurones.
Le responsable de la division matérielle d'OpenAI, Richard Ho, a qualifié ces résultats d'amélioration significative par rapport au niveau actuel. Il a toutefois immédiatement ajouté une réserve importante : d'ici à ce que Jalapeño soit disponible en volumes conséquents, les concurrents pourraient avoir le temps de mettre sérieusement à jour leurs plateformes. L'écart actuel n'est donc pas une garantie pour l'avenir.
Néanmoins, le choix des métriques est révélateur. Pour les centres de données spécialisés dans l'inférence, l'essentiel n'est pas la performance de pointe, mais le coût de chaque token et le comportement sous la charge de nombreux utilisateurs. C'est précisément là que la nouvelle puce veut se montrer plus forte.
Sur quoi repose l'avantage
Jalapeño n'est pas une tentative de créer un énième GPU universel. La puce a été annoncée en octobre dernier et développée en collaboration avec Broadcom, en s'appuyant sur les modèles propriétaires d'OpenAI. Cette approche a permis aux ingénieurs d'identifier les véritables « goulots d'étranglement » dès la phase de conception.
Les principaux problèmes ne viennent pas tant des calculs eux-mêmes que des latences dans les étapes préparatoires et lors des échanges de données entre les blocs. Par exemple, le prefill — l'étape où le modèle traite les données d'entrée et construit le contexte — prend souvent nettement plus de temps que souhaité. Jalapeño s'efforce de minimiser précisément ces latences, tout en réduisant les transferts de données entre la mémoire et les cœurs de calcul.
Chez OpenAI, on explique que la puce sait placer et conserver explicitement l'état du modèle en local, y compris le cache KV. À chaque étape de l'inférence, la combinaison nécessaire de calcul, de mémoire et de réseau est activée, plutôt que de faire fonctionner tout le système en permanence. Cela évoque un peu une chaîne de montage où chaque poste est préparé spécifiquement pour son opération.
Quand le voir en vente
OpenAI ne cache pas qu'elle considère cette puce comme une plateforme à long terme : selon Ho, l'entreprise prévoit de développer Jalapeño sur plusieurs générations. Cela signifie que l'architecture actuelle n'est pas une expérience ponctuelle, mais une fondation pour de futures itérations.
L'adoption à grande échelle est toutefois encore loin. Selon les estimations d'OpenAI, la puce apparaîtra en très petits volumes à la toute fin de l'année 2026 — plutôt sous forme de livraison pilote. Un déploiement plus conséquent est attendu en 2027.
D'ici là, NVIDIA ne restera probablement pas les bras croisés et pourrait sortir des versions mises à jour de Blackwell. La première place dans les benchmarks aujourd'hui n'est donc qu'une avance. Ce qui est bien plus intéressant, c'est de voir si Jalapeño saura conserver son avantage lorsqu'il s'agira d'une exploitation à grande échelle.
