SanDisk与SK海力士推高带宽闪存,瞄准AI推理内存瓶颈
SanDisk与SK海力士推出HBF高带宽闪存,单堆栈容量最高512GB、读取带宽达1.6TB/s,瞄准AI推理中的大模…
SanDisk 与 SK 海力士正在共同推动一项名为「高带宽闪存」(High Bandwidth Flash,简称 HBF)的新型存储架构,目标是用 NAND Flash(广泛用于 U 盘、SSD 的存储介质)来承接 AI 推理中体量巨大、读多写少的模型参数与缓存数据,从而缓解高带宽内存 HBM 的容量与成本压力。
HBF 在做什么:用堆叠把 NAND 带宽拉高
HBF 的思路与 HBM 一脉相承:把先进的 3D 封装与垂直堆叠技术从 DRAM 搬到 NAND Flash 上。根据 SanDisk 公布的参数,第一代 HBF 单个堆栈最多可集成 16 颗 NAND Flash 裸片,容量最高可达 512GB,读取带宽目标为 1.6TB/s;后续第二代、第三代路线图将进一步把读取带宽提升至 2TB/s 与 3.2TB/s。
相比之下,传统 NAND 单颗 die 的理论带宽并不算高——按最新的 ONFI 6.0 闪存接口标准,单颗 die 带宽上限约 4.8GB/s,远低于 DDR5 单条 DIMM 的 70.4GB/s,更远低于 HBM4E 单堆栈 3.6TB/s 级别,差距可达数百倍。HBF 正是通过堆叠,把多个 die 的通道「叠加」起来弥补单颗速度的不足。SK 海力士内存系统研究高级副总裁 Hoshik Kim 表示:「通过将先进的 3D 封装和垂直堆叠技术应用于 NAND 闪存,HBF 能够实现远超标准 NVMe 存储的带宽。」
为什么 AI 推理「恰好」能用 Flash
NAND Flash 的传统短板在于写入:通过浮栅晶体管内的电荷写入和擦除数据,速度远慢于 DRAM 或 HBM 的电容充放电。这也是多数人对「Flash 跑 AI」的直觉质疑所在。但若只看读取,HBF 的工作方式则顺理成章。
更关键的是,AI 推理与训练对内存的需求并不相同:
- 训练阶段既要大量读,也要大量写,还涉及反向传播过程中的权重更新,对 Flash 写入极不友好。
- 推理阶段模型权重基本冻结,系统主要诉求是把庞大的参数快速读出,而非频繁改写。
这正是 Flash 相对擅长的一侧。Kim 指出:「在推理环境中,诸如静态的数十亿参数模型权重或预计算的 KV 缓存等海量、读密集型数据,均可稳妥地存放于 HBF 层级。」如此一来,昂贵且容量有限的 HBM 就能被释放出来,专门处理最紧急的高速计算数据交换。换言之,HBF 希望扮演一个「大容量只读内存池」的角色,让 HBM 去做它最擅长的高速暂存。
与 HBM 的关系:互补而非替代
HBF 并不是要取代 HBM,而是要在 AI 推理系统中插入一个新的存储层级:
- HBM:极致性能,负责最热数据的高速交换。
- HBF:大容量、高带宽读取,负责静态模型权重、KV 缓存等读密集数据。
- SSD 或更低速存储:负责更冷、更便宜的数据。
如果这一分层架构成立,AI 服务器在部署大模型推理时,就不必把所有权重都塞进 HBM——一部分冷一点、静态一点的数据可以放到 HBF 中。其潜在收益包括:
- 缓解 HBM 容量瓶颈,不必再为了「装下模型」而堆更多加速卡;
- 降低整体推理系统的成本与能耗;
- 让更大的模型以更低成本跑起来。
Kim 判断:「HBF 与 HBM 并不是竞争对手,而是互为补充的工具。HBF 能够在不牺牲数据供给速度的前提下,有效缓解 HBM 面临的容量瓶颈,从而有望减少运行大规模模型所需的加速器数量。」
落地节奏与产业背景
值得注意的是,HBF 距离规模化商用仍有距离。据 IEEE Spectrum 报道,HBF 至少还需要一年才可能出货,距离大规模部署可能还要几年。今年 2 月 25 日,SanDisk 与 SK 海力士已联合举办启动活动,宣布在开放计算项目 OCP 下推进 HBF 标准化工作,但正式标准发布时间尚未确定。
这一节点的产业背景也不容忽视。北京时间 7 月 11 日,SK 海力士 CEO 郭鲁正在美股纳斯达克挂牌当日公开表示,全球存储行业预计将在 2027 年面临史上最严重的供应短缺,市场对替代性高带宽存储方案的兴趣随之升温。HBF 的加速浮出水面,被视为头部存储厂商面对供应紧缺给出的技术答卷之一。
更宏观地看,AI 硬件的关注点长期以来集中在 GPU、HBM 与互联上。但当模型规模持续膨胀、推理请求越来越多,「算得快不快」之外,「装不装得下」「读不读得动」「电费扛不扛得住」正成为更突出的瓶颈。HBF 切入的,正是这个缝隙。它的产业逻辑也很朴素:不是把 Flash 变成 HBM,而是让 AI 系统中的不同数据,待在更适合自己的位置里。
