AI 真正瓶颈不是 GPU，而是内存：一份来自 2007 年的诊断

近期 AMD 与 Qualcomm 在数日内接连公布新的内存封装方案：AMD 把 LPDDR5X 集成到 Versal Premium Gen 2 SoC 上，Qualcomm 则预告了面向未来推理加速器的「High Bandwidth Compute」架构。几周前，NVIDIA 与 SK Hynix 锁定了至 2030 年的 HBM 供应，与其说是一笔采购合同，不如说是在对冲一个物理层面的硬约束。H100 的交付周期已经拉到 36–52 周，数据中心预计将在 2026 年吃掉全球七成的内存芯片产能。所有人都在为 GPU 短缺焦虑，但真正卡脖子的其实是内存——而这件事早在 2007 年就被诊断过。

一份 2007 年的论文：Memory Wall

Ulrich Drepper 在 2007 年写下《What Every Programmer Should Know About Memory》，彼时「AI」还指国际象棋程序，训练万亿参数模型近乎天方夜谭。他讨论的核心是 cache line：CPU 算力指数级增长，内存却跟不上，处理器与存储之间的延迟以纳秒计，是真正决定程序速度的物理量。数据落在一级缓存还是主存里，运行效率天差地别。他把这种现象称为「Memory Wall」，并告诫程序员：内存早已不是一块平整、统一的存储桶，数据所处的层级直接决定代码能跑多快。

AI 时代，层级换了一层皮

今天 AI 硬件的层级结构与 2007 年的 PC 惊人相似：HBM 相当于主存，GPU 片上 SRAM 相当于 L1 缓存。大模型每生成一个 token，都需要把动辄几十 GB 的权重在这条通道上来回搬运，每秒数百万次。Blackwell 等新一代芯片上，TFLOPS 的增长比内存带宽快出一个数量级——矩阵乘法本身廉价，昂贵的永远是搬运数据所花的时间和电力。NVIDIA 把 HBM 锁到 2030 年，并非出于贪婪，而是没有这些内存，Blackwell 的计算核心只能空转；AMD 与 Qualcomm 在封装层面下功夫，本质也是在补回被逻辑侧甩开的带宽。

已经发生的解法：贴着缓存写算法

真正解决这一问题的思路，与 Drepper 当年的建议如出一辙。FlashAttention 并非把注意力数学化简或缩小模型架构，而是改写计算顺序，让数据尽可能久地停留在 GPU 片上 SRAM，最小化回访 HBM 的次数。这就是 2007 年 Drepper 反复强调的「局部性原理」——十九年后，被移植到了 Transformer 里。

小模型浪潮是另一方向的妥协

Llama、Phi、Mistral 等开源权重模型能在普通硬件上跑起来，背后是同样的逻辑：既然 70B 参数的模型搬不动，就把模型缩小到塞得进缓存层级。作为一线软件工程师的作者坦言，自己更愿意用 Sonnet、Opus 而不是前沿模型，并非因为后者不够聪明，而是前沿模型对内存的胃口太大，难以在市场真正需要的规模上部署。

物理决定上限

Drepper 在文末写道：硬件的物理规律决定了软件的上限，我们却习惯把代码当作可以脱离铜与硅的抽象物。过去一周这些新闻正是这种幻觉撞墙的写照。未来十年赢得 AI 的公司，不会是 FLOPS 最多的那批，而是终于把 2007 年那位 Linux 内核黑客的话听进去的那批。芯片换了，墙没换。