AI 芯片五大家族与算力经济学新法则

当下 AI 工作负载已分裂出数十种不同的硅架构：可编程 SIMT GPU、编译期脉动阵列 ASIC、晶圆级 SRAM 引擎、确定性空间 LPU，以及由前沿 AI 实验室直接流片的定制芯片。与此同时，制约算力扩展的经济瓶颈也在发生变化——当数据中心被严格限制在 50 兆瓦电网配额时，原始芯片 FLOPs 已不再直接转化为收入，真正决定营收的是「每兆瓦可持续吞吐的 Token 数（TPS/MW）」。本文试图拆解现代 AI 硅基硬件的真实工作原理、关键权衡，以及产业格局正在如何分层。

硅架构的五大分类

当前用于 AI 训练的芯片可大致归为五类：

通用 SIMT GPU：以 NVIDIA Blackwell/Rubin 与 AMD Instinct 为代表，强调灵活性、海量一致内存池与动态硬件调度。
编译型脉动阵列 ASIC：包括 Google TPU（v7 Ironwood / v8）与 AWS Trainium，采用静态 VLIW 执行与软件管理的片上暂存，权重固定的二维脉动阵列硬连线于硅片中，并配合光交换网络。
纯 SRAM 延迟引擎：Cerebras WSE-3 与 Groq LPU 不外挂 HBM，依靠 TB 至 PB 级片上 SRAM 带宽，实现亚毫秒级单用户解码。
前沿实验室垂直 ASIC：典型代表是 OpenAI 自主研发的 Jalapeño（Curry Rack 架构），将乱序 L1 核与 MXFP 脉动单元配对，搭载分片 HBM4，统一预填与解码阶段，并以 AI 合成内核优化调度。
可重构数据流加速器：以 SambaNova、Tenstorrent 为代表，采用细粒度可重构数据流架构，在灵活性与效率之间寻找中间地带。

AI 工作负载的两套物理法则

所有 AI 加速器本质上都在回答同一个数学难题：现代生成模型（Transformer、MoE、扩散模型）本质上是海量矩阵乘法（GEMM）与内存受限向量操作的交替。

预填 / 训练阶段：算力受限

整批 prompt token 与权重矩阵并行相乘，算术强度高达「每字节数百 FLOPs」，硬件瓶颈完全取决于张量核心密度。

自回归解码阶段：带宽受限

每次只生成一个 token，处理器必须扫过全部模型权重并遍历整个 KV 缓存，算术强度骤降至「每字节 1–2 FLOPs」。当上下文扩展到数十万 token 时，解码阶段的瓶颈会从权重带宽转向 KV 缓存带宽。因此，每一种架构选择归根结底都在回答三个问题：权重和 KV 状态放在哪里、以多快的速度送进 ALU、在传输中烧掉了多少瓦特。

既有霸主与超大规模云自研芯片

NVIDIA：可编程生态的统治力

NVIDIA 的核心命题仍是通用加速计算。每一代流式多处理器（SM）都在迭代，但 CUDA 生态始终保持兼容：

异步张量流水线：从 Volta 的 mma.sync（32 线程锁步）到 Hopper 的 wgmma.mma_async（128 线程 warp group 后台发射），再到 Blackwell 的 tcgen05.mma（单线程描述符直驱 Tensor Memory）。Rubin 引入第六代 Tensor Core，原生支持 NVFP4 与 FP6。
NVL72 机柜级扩展：72 颗 GPU 与 36 颗 Grace CPU 通过 5184 根无源铜缆（约 2 英里/机柜）拼成 13.5 TB 单一一致地址空间，相比光模块每机柜节省约 20 kW 功耗。
Rubin NVL576（Kyber）：液冷机箱内将一致域扩至 576 颗 GPU 裸片，通过共封装光学（CPO / Quantum-X Photonics）把跨机柜光模块直接集成进交换机 ASIC。

Google TPU：编译器即机器

Google TPU 放弃了动态 warp 调度、寄存器文件与硬件乱序执行：

权重固定脉动阵列：Trillium v6e、Ironwood v7、TPU v8 均采用 256×256 大尺寸脉动阵列，激活值流过预加载的权重，把数据复用硬编进硅网格，省去寄存器文件功耗。
静态 VLIW 调度：322 位 VLIW 束静态调度全部计算指令，XLA 编译器在执行前预先规划好 HBM、CMEM、VMEM 之间的全部 DMA。
光路交换与 Boardfly：核心互联（ICI）通过 Palomar 3D-MEMS 光路开关动态重塑拓扑；面向 TPU v8i（Zebrafish）的 Boardfly 高基数层级拓扑专为削减 MoE 调度中的全互联通信延迟而设计。

AMD Instinct：先进封装与开放标准

AMD 走了一条「保守计算单元 + 激进封装」的路线：

TSMC SoIC 混合键合：将计算芯粒（XCD）直接堆叠在包含 256 MB Infinity Cache 的 I/O 芯粒之上。
容量优势：MI300X 192 GB、MI325X 256 GB、MI355X 288 GB HBM3e，使 405B 参数模型（FP8）能完整放进一块标准 8 GPU 基板。
Helios 机柜与 UALink：MI455X Helios 72 GPU 机柜借助 UALink 做一致扩展，并通过 Broadcom Tomahawk 6 交换机接入 UEC（超以太网联盟）协议。

AWS Trainium：解耦引擎与硅集体通信

由 Annapurna Labs 设计，Trainium 把编译期数据流与 AWS Nitro 云管理程序结合在一起。GPU 通常用 SM 算力跑 NCCL 集合通信核函数，而 Trainium 通过专用的「硅集体通信核（CC-Cores）」把这部分负载从主计算单元中剥离，腾出更多周期用于模型本身的 GEMM。这一思路显著降低了大规模训练时通信占比对总算力的吞噬，也让 Trainium 在性价比敏感的训练场景中保持竞争力。

算力经济学的转向

随着单机柜功耗逼近电网接入上限，AI 芯片的竞争维度已从「谁的峰值 FLOPs 更高」转向「每兆瓦能稳定产出多少 Token」。这意味着：

推理侧的 SRAM 引擎、SRAM + HBM 混合架构正获得更高溢价；
解码阶段 KV 缓存的局部性优化，成为长上下文模型的胜负手；
编译期可知的确定性数据流，比不可预测的动态调度更省电；
超大规模云厂商与前沿实验室的自研芯片，本质上都是在用「垂直整合」换取 TPS/MW 的最优解。

未来 AI 芯片的格局，仍将围绕「内存层级」「互联带宽」「每瓦吞吐」三条主线继续分层。