OpenAI 自研推理芯片跑分首秀：每瓦吞吐量超越英伟达

8 月 25 日，OpenAI 硬件负责人 Richard Ho 在 Hot Chips 大会上公布了其首款自研推理芯片 Jalapeño 的第一份公开跑分。这颗由 OpenAI 与博通联合打造的芯片，在 SemiAnalysis 的 InferenceX 基准测试中，于「每用户 token 数」与「每千瓦吞吐量」两项关键指标上均超过了英伟达 Blackwell 系统。按 OpenAI 计划，Jalapeño 将在 2026 年底以极小规模部署，真正上量要等到 2027 年。

9 个月造出一颗芯片：AI 正在加速芯片设计

Jalapeño 由 OpenAI 主导架构设计，博通负责实现、网络与连接，Celestica 负责板卡与机架集成。芯片额定功耗 700W，搭载 HBM4，单封装内存带宽约 15.4TB/s，B0 版 MXFP4 理论算力为 13.4 PFLOPS。从初始设计到完成流片，OpenAI 只用了 9 个月。考虑到高性能 ASIC 从架构定义到流片通常需要 18 至 24 个月，而谷歌 TPU、亚马逊 Trainium 第一代也用了两年，OpenAI 首次造芯就压缩了一半以上周期。

这一速度来自 AI 对芯片设计本身的反哺。在 GPT-OSS 的部分 attention 与 MoE 模块中，AI 生成的 kernel 比人工专家版本快 1.5 至 1.8 倍。OpenAI 借助 Codex 和 GPT-Astra，仅用约两个月就完成了 DeepSeek R1 与 Kimi K2.5 的移植与优化。值得注意的是，OpenAI 公开跑分使用的是 A0 版工程芯片，改进版 B0 已进入台积电 N3P 工艺制造阶段，第二代芯片进入深入开发，第三代开始规划。

设计哲学：让数据不挪窝

Jalapeño 架构的核心思路可概括为「少搬数据」。大模型推理的瓶颈不在算力，而在于每生成一个 token 都需反复搬运模型权重与 KV 缓存。Jalapeño 将计算核心与 HBM4 内存切成对应「切片」，每个核心对自己那片内存拥有低延迟直达通道；15.4TB/s 的内存带宽保证「数据」能被显式放置在本地，无需反复远程调用。

另一个关键设计是，prefill（处理用户输入）与 decode（逐个生成 token）由同一颗加速器完成，而非像英伟达 Rubin 那样将 prefill 拆给专用 CPX 芯片。OpenAI 认为，真实流量构成持续变化，按固定比例配置两种芯片会让一半算力闲置；让每颗芯片都能胜任两种任务，是「为模型造芯片」的直接体现。

具体到跑分数据：

• GPT-OSS 120B 上，每千瓦每秒处理约 8.54 万 token，单用户峰值每秒生成 1459 token（英伟达 GB300 为 535）。
• DeepSeek R1 670B 上，每瓦效率高 1.7 倍，低延迟模式下单用户每秒 700 token 对英伟达 GB300 的 169 token，峰值每瓦吞吐为对手 1.5 至 1.9 倍。
• Kimi K2.5 1T 上，从提问到答完最低延迟 1.56 秒（对手 5.31 秒）；在固定 100 token/s/用户的交互速度下，每千瓦吞吐是英伟达 GB300 的 9 倍以上。

成绩单的边界与三家芯片路线之争

OpenAI 也坦诚指出了成绩单的局限：跑分数据主要由 OpenAI 提供，SemiAnalysis 仅在现场见证运行并未独立完成全部测试；公开结果全部来自约 8k 输入、1k 输出的单轮推理，这是相对容易调优的负载；对更长上下文、多轮交互的智能体任务，OpenAI 并未给出公开数字，而这恰恰是当前推理需求增长最猛的场景。

这份跑分还隐藏着更大的野心。OpenAI 在测试中对竞争对手的 DeepSeek R1 和 Kimi K2.5 一视同仁，甚至为 DeepSeek 的私有 MLA 注意力架构专门从零实现了底层核心代码。如果 Jalapeño 每 token 成本确实低于英伟达，OpenAI 完全可能效仿 AWS，把富余推理算力租给其他模型公司。

巧合的是，成绩单公布前一天，英伟达宣布 Vera Rubin 机架级系统全面投产；同一天，苹果推出全球首款量产 2nm 芯片 M6，搭配统一内存最高 512GB 的 M5 Ultra，主打本地推理。三家公司在 48 小时内给出了三种完全不同的 AI 算力路线：苹果赌制程与端侧，让 AI 留在桌面；英伟达赌通用与系统协同；OpenAI 赌垂直专用，把自家模型需求直接硬化进电路。当 OpenAI 用自己的芯片、自己的考题、自己的成本结构交出第一份答卷，AI 算力这门生意已经从一家主导走向三方博弈。