Fireworks AI 发布 M3 推理内核：B200 上长上下文稀疏注意力达 980 TFLOP/s

Fireworks AI 在 X 平台发布了一项针对 MiniMax M3 模型的推理内核优化技术，核心目标是解决长上下文场景下稀疏注意力（sparse attention）面临的内存访问瓶颈。该团队表示，自家 M3 内核在 NVIDIA Blackwell 架构的 B200 GPU 上实现了约 980 TFLOP/s 的吞吐，并通过「KV-stationary」设计让每个块只被读取一次，从而绕开数据依赖的块选择对访存模式的干扰。

长上下文稀疏注意力的「访存陷阱」

稀疏注意力通过只计算与当前 token 相关的部分历史 token 来降低长序列推理的计算量，已成为 100K 以上上下文窗口的常用加速手段。但 Fireworks AI 指出，这一路线有一个易被忽视的代价：块选择通常与输入内容相关（即 data-dependent），导致每个注意力头在访存时跳转到不连续的地址，破坏了 GPU 显存子系统的合并访问（coalesced access）。结果就是：算力利用率上去了，但 HBM 带宽成为新的瓶颈，端到端速度反而下降。

KV-stationary 与一次性块读取

Fireworks AI 提出的解法核心是让 KV 缓存在注意力计算过程中保持「驻留」在固定位置（KV-stationary），并对每个数据块仅执行一次加载。这样，查询 token 在遍历历史块时可以保持规整的访存序列，避免随机跳转。团队表示，这一策略在保留稀疏注意力计算优势的同时，让 B200 的张量核心得以持续高负载运行，最终在 M3 模型上测得约 980 TFLOP/s 的有效吞吐。

行业背景与适用范围

长上下文推理是 2025 年大模型落地的关键瓶颈之一，尤其在代码库分析、多轮 Agent 任务、企业级文档问答等场景中，主流模型的上下文窗口已普遍扩展到 128K–1M 级别。推理服务商之间的竞争已从「能不能跑」转向「跑得多便宜」。Fireworks AI 此项内核工作面向的是其模型服务平台上的实际部署负载，而非通用训练场景，公开内容中暂未给出延迟、显存占用或与其他推理引擎的对比数据，更多技术细节可参考其原始推文附带的链接。

小结

整体来看，这是一篇由推理厂商主导的工程层面披露，亮点在于点出长上下文稀疏注意力在 Blackwell 上的访存矛盾，并给出 KV-stationary 这一针对性方案。980 TFLOP/s 的数字对关心 M3 部署成本和长上下文性能的开发者有参考价值，但目前披露的细节仍偏概要，完整基准与方法论有待原文进一步说明。