OpenAI继续在硬件竞赛中亮出底牌。在Hot Chips大会上，该公司首次详细展示了其推理芯片——Jalapeño——并分享了令许多人惊讶的最新测试结果。如果这些数据在真实负载下得到证实，模型推理市场的力量格局可能会发生显著变化。
测试显示了什么
在SemiAnalysis InferenceX基准测试中，这款新处理器在两项重要指标上超越了目前可用的最先进的推理解决方案：每位用户对应的令牌数量，以及每千瓦功耗的吞吐量。对比对象是NVIDIA Blackwell系统，该系统目前被认为是神经网络推理任务中的标杆之一。
OpenAI硬件部门负责人理查德·霍称，这些结果相对于当前水平是显著的改进。不过，他随即补充了一个重要的说明：等到Jalapeño大规模上市时，竞争对手可能已经大幅更新了他们的平台。所以，今天的差距并不能保证未来。
尽管如此，对指标的选择本身就很有说明性。对于从事推理业务的数据中心来说，关键不在于峰值性能，而在于每个令牌的成本以及多用户负载下的表现。这正是新芯片想要展现其优势的地方。
优势的基础是什么
Jalapeño并非试图制造另一款通用GPU。该芯片于去年十月发布，是与博通合作，并利用OpenAI自身的模型进行开发的。这种方法让工程师们能够在设计阶段就看到真正的“瓶颈”。
主要问题并非来自计算本身，而是来自准备阶段以及模块间数据交换的延迟。例如，prefill——模型处理输入数据并形成上下文的阶段——通常耗时比预期的要长得多。Jalapeño正是致力于最小化这类延迟，同时减少数据在内存与计算核心之间的移动。
OpenAI解释说：该芯片能够显式地放置并在本地保留模型状态，包括KV缓存。在推理的每个阶段，只会激活所需的计算、内存和网络组合，而不是整个系统同时运行。这有点像一条流水线，每个工位都为其特定操作做好了准备。
何时能买到
OpenAI并不掩饰其将该芯片视为长期平台的意图：据霍称，公司计划在多个代际中发展Jalapeño。这意味着当前的架构并非一次性的实验，而是未来迭代的基础。
不过，距离广泛应用还很遥远。根据OpenAI的估计，在2026年底，该芯片将仅以非常小的批量出现——更像是试点交付。更显著的大规模部署预计要到2027年。
到那时，NVIDIA很可能也不会坐以待毙，可能会发布更新版本的Blackwell。因此，今天在基准测试中的第一名仅仅是个预付款。更有趣的是，当涉及到大规模运营时，Jalapeño能否保持其优势。
