OpenAI 自研推理芯片 Jalapeño 首测曝光

OpenAI 正式公布其首款定制推理芯片 Jalapeño（墨西哥辣椒）的首批实测性能数据。在基于开源模型 GPT-OSS 120B 的公开基准 InferenceX 上，Jalapeño 的每千瓦峰值吞吐量与 Token 延迟均优于现有硬件系统，并在 DeepSeek R1 670B 与 Kimi K2.5 1T 等非自家模型上同样跑出更佳成绩，对手是英伟达 GB200/GB300 等当前最强的商用 AI 系统。知名科技 Newsletter SemiAnalysis 验证了测试过程，并确认 GSM8k 精度与英伟达持平。第一代芯片便站上性能-功耗帕累托前沿，在行业内尚无先例。

基准成绩：每瓦吞吐与延迟全面领先

OpenAI 采用 InferenceX 测试，统一设置为 8K 输入、1K 输出、标准单 token 预测、未开推测解码，对照系统为英伟达 GB200 与 GB300。

在 GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T 三个模型上的结果如下：

• 峰值吞吐量方面，每瓦 AI 工作量是对比系统的 1.5 到 1.9 倍。
• 端到端延迟降低 1.7 到 3.6 倍。
• 高交互性工作负载下，性能提升达 2.1 到 4.1 倍。

最极端对比中，GB200 此前最佳单用户速度（约 535 tok/s）下，Jalapeño 的每千瓦吞吐为前者的 53.7 倍。跑 DeepSeek R1 时，Jalapeño 单用户最高约 700 tok/s，对比系统仅 169 tok/s。芯片标称功耗 700W，实测持续功耗不超过 550W。值得注意的是，Jalapeño 没有借助多 token 预测（MTP）、投机解码或 prefill-decode 分离，便赢过了软硬件深度优化的英伟达对手。

但社区也指出，「104.3 倍」仅出现在特定等速解码的单一数据点，且测试模型与对比基线均由 OpenAI 自行选择；SemiAnalysis 也承认 Jalapeño 尚未跑过多轮长上下文 AgentX 测试，真正的对手应是同样采用 HBM4 的英伟达 Vera Rubin。

一颗通用推理引擎，而非 OpenAI 专属

外界曾推测 OpenAI 造芯只为自家模型开小灶，但 SemiAnalysis 明确指出 Jalapeño 是通用推理芯片：表现最好的三个模型中，DeepSeek R1 与 Kimi K2.5 并不在 OpenAI 最初的投产计划内。团队表示用 Codex 仅两个月便将它们优化到高性能，并成功在该芯片上运行了游戏《Doom》，移植过程全程只用 Codex 提示词驱动。

硬件层面，Jalapeño 采用台积电 N3P 工艺，最新 B0 步进单计算 die 提供 13.4 PFLOPS 的 MXFP4 算力。同工艺、同尺寸的英伟达 Rubin 计算 die 为 17.5 PFLOPS（NVFP4），但 Jalapeño 的 TDP 仅 700W，Rubin 为 900 至 1150W。

设计逻辑围绕「让数据待在原地」展开：芯片核心与 HBM 被切成一一对应的切片，每个核心切片对自己那片 HBM 拥有低延迟的本地视图；KV cache 与模型权重被显式安置在原地，生成过程中不再挪窝。切片之间同步走专用高带宽集合通信网络，通用通信由简化的 NoC 承担，对比 GPU 层层穿越的复杂内存体系，这套极简层级省下大量延迟与功耗。

系统层面，OpenAI 没有采用流行的 PD 分离（prefill 与 decode 分池部署），理由是真实流量中输入输出比例全天漂移，固定分池必然出现一边闲置一边排队。128 颗芯片组成一个机架（CPU 托盘名 Katsu、ASIC 托盘名 Vindaloo、交换托盘名 Chana，均为咖喱菜名），16 个机架通过铜缆与光交换织成 2048 颗芯片的单一 scale-up 域，整个请求生命周期内数据无需跨池搬运。

真正的秘密武器：用 AI 造芯片

Jalapeño 项目 2024 年中启动，2025 年 11 月流片，前后约 16 个月；流片后 9 个月、点亮仅 3 个月便交出上述成绩单。OpenAI 表示 AI 深度参与了设计：探索实现方案、缩短验证循环、优化算术电路。SIMD 单元面积缩小 8%、矩阵引擎缩小 10%，均有 AI 的功劳；部分 AI 生成的内核实现比人类专家手写版本快 1.5 至 1.8 倍。

过去几十年，芯片研发拥有极高的专业门槛，新架构从设计、验证、流片到编译器、内核库与完整软件生态的搭建，往往需要大量资深工程师与漫长迭代周期。英伟达真正的护城河，也恰恰来自这里。但 Jalapeño 的实践展示出另一种可能：硬件工程师可让模型辅助设计与验证，Codex 则可帮助工程师编写 Kernel、适配新模型，甚至把一个从未准备过的模型在几个月内优化到高性能。

于是出现了一个值得关注的循环：用英伟达 GPU 训练出来的 AI，正在帮助工程师设计下一颗不依赖英伟达的芯片。SemiAnalysis 给出了相当激进的判断：CUDA 的护城河可能正在松动。当然，仅凭一颗推理芯片尚不足以宣判 CUDA 的结局，但它至少证明了一件以前难以想象的事——AI 已经开始进入生产下一代 AI 基础设施的研发循环：模型帮助造芯片，更好的芯片又用来运行下一代模型。

巨头造芯潮：从数据中心到手机

把视角放到更大的行业背景中，最近一周内已有四家公司密集发布或筹备新一代芯片：

• 小米一口气公布三颗自研芯片。
• 苹果发布首颗 2nm M6，全系芯片为 Apple Intelligence 让路。
• 高通骁龙 8 Gen 6 与联发科天玑 9600 双双进入 2nm。
• 华为麒麟 9030 与昇腾系列也将迎来更新。
• Anthropic 虽未发布芯片，但已确认组建内部定制芯片团队，并从谷歌 TPU 业务挖来前负责人 Amir Salek，从 OpenAI 芯片团队挖走二号工程师 Clive Chan。

OpenAI 博客中那句「AI 的进步在整个系统一起变好时复利最快」，放在这些动作上全部成立。OpenAI 表示 Gen 2 已深入开发、Gen 3 正在成形，Jalapeño 将于今年年底进入自有算力基础设施部署，下一个目标是 100MW 规模。芯片的定义权，正在从少数几家芯片公司手里，流向每一家认真对待 AI 的公司。