AI 撞上内存墙：苹果、小米、英伟达为何集体死磕带宽

苹果最新款 Mac mini 与 Mac Studio 把「内存带宽」推到了聚光灯下：标准版 M6 达到 170GB/s，M5 Pro 升至 307GB/s，顶配 M5 Ultra 跨过 1.2TB/s 大关。就在 Mac Studio 发布前一天，小米公布的端侧 AI 加速芯片玄戒 O100 也把内存带宽做到了 1.22TB/s；而英伟达消费级旗舰 RTX 5090 凭借 32GB GDDR7 显存，带宽接近 1.8TB/s。桌面 SoC、端侧 NPU 与独立 GPU 架构路径截然不同，厂商却在不约而同地干同一件事——让内存里的数据跑得更快。

容量之外，带宽才是大模型的真瓶颈

很多人习惯用容量衡量内存：32GB 一定比 16GB 强，512GB 自然更好。但容量与带宽是两个完全独立的维度——容量决定能装下多大的模型，带宽决定数据每秒能以多快的速度喂给计算核心。

大模型在自回归生成阶段，每生成一个新 token 都要把数十亿乃至上百亿的参数权重完整读取一遍。计算单元再能算，绝大多数时间都在等内存喂数据，这种现象在体系结构中被称为 memory-bound（内存受限）。换句话说，决定 AI 实际体验的，不是峰值算力，而是数据搬运的吞吐。

越快的内存，贵得呈指数级上升

带宽的提升不是单纯堆颗粒，而是要更宽的位宽、更高频的接口、更复杂的先进封装与垂直堆叠。以 AI 服务器标配的 HBM 为例，它把多层 DRAM 通过 TSV（硅通孔）技术垂直堆叠，制造难度与芯片面积远超传统内存。

TrendForce 数据显示，三星、SK 海力士、美光三大存储巨头正将先进晶圆产能向企业级 HBM 与高规格 DDR5 倾斜，直接挤压了消费级 DRAM 供给。美光已宣布逐步退出英睿达消费级业务，国内 SK 海力士第三方授权店也终止运营——普通装机者如今正与全球 AI 数据中心争抢同一批先进晶圆。

四条路径，各显神通

芯片厂商从不同维度给出了破解内存墙的方案：

• 物理加宽车道：GDDR7 与 HBM。RTX 5090 用 512-bit 位宽配合 GDDR7 把显存带宽顶到 1.8TB/s；AI 数据中心则在 GPU 旁紧挨着塞入 8 层、12 层 HBM 堆栈。简单粗暴，但代价极为高昂。
• 存储搬到计算隔壁：玄戒 O100 的 3D 堆叠。小米采用晶圆级垂直堆叠（Wafer-on-Wafer），把两层 DRAM 晶圆直接压在 NPU 计算晶圆正上方，物理距离缩短到微米级，端侧带宽做到 1.22TB/s。
• 消除冗余搬运：统一内存与雷雳 5。苹果 Apple Silicon 让 CPU 与 GPU 共享同一块内存池，省去跨总线拷贝；M5 Pro 版 Mac mini 配备 3 个雷雳 5 端口，可通过 RDMA 把 4 台 Mac Studio 串成集群，分布式推理吐字吞吐接近单机 3 倍。
• 把计算搬到内存旁边：PIM 与存内计算。Processing-in-Memory 把部分计算单元塞进内存颗粒附近；更进一步的在存储介质内直接完成矩阵乘加。这些前沿架构通用性与编译器生态尚待成熟，但方向已经明确：未来的芯片设计必须让数据少走几步路。

三十年前的预言，今天终于撞墙

这堵「内存墙」并非新鲜事物。早在 1995 年，William A. Wulf 与 Sally A. McKee 就发表经典论文《Hitting the Memory Wall》，指出处理器算力增速远快于内存带宽增速，两者剪刀差将让处理器把越来越多时间耗在等待数据上。三十年过去，这堵墙从未消失，只是大模型的爆发以空前速度把整个行业推到了它面前。

过去衡量芯片，大家盯的是 TOPS、TFLOPS 与跑分；到了 AI 时代，算力再高，只要数据送不过来，芯片也只能原地空转。苹果为 Mac mini 拍的那支「牛来」宣传片，让银色小盒子长出粗壮的肌肉手臂——这像极了过去对「性能」最朴素的想象。但在 AI 时代，肌肉练得再大，如果原料供不上，庞大的身躯也只能原地干等。

无论上层的 AI 模型如何神乎其技，底层硬件仍无法逃避最朴素的物理法则；想要数据跑得快，那些实实在在的通道、走线和晶圆工艺，终究一步都偷不了懒。