SambaNova 在 RAISE 大会展示 H200+SN50 混合推理架构

人工智能芯片厂商 SambaNova 日前在巴黎举行的 RAISE 大会上展示了其混合推理架构：通过将 NVIDIA H200 GPU 用于计算密集型的 prefill 阶段，同时使用自研的 SN40L / SN50 RDU 处理内存密集型的 decode 阶段，实现两类负载在不同硬件上的分工。该方案据称在一款被标记为「MiniMax M2.7」的模型上，短上下文场景达到 850 tokens/s、长上下文场景达到 450+ tokens/s 的吞吐水平。

架构思路：把 prefill 和 decode 分开

大模型推理通常分为 prefill（处理输入提示词、并行计算）和 decode（逐 token 生成）两个阶段。前者偏计算、后者偏访存，对硬件的偏好并不一致。SambaNova 在 RAISE 现场采用的方案是：

• 用 H200 GPU 承担 prefill，利用其高算力快速消化长 prompt；
• 用 SN50 RDU（Reconfigurable Dataflow Unit）承担 decode，借助片上大内存降低访存延迟；
• 两端通过高速链路串联，形成端到端推理流水线。

公布的吞吐数据

根据 SambaNova 现场给出的实测数字：

• 短上下文：约 850 tokens/s；
• 长上下文：约 450+ tokens/s。

需要指出的是，原帖中将测试所用的模型名称写作「MiniMax M2.7」，该名称在公开模型市场中并无对应，疑似社媒转发或抓取过程中出现的乱码/占位符，因此该吞吐量对应的真实模型仍待官方进一步澄清。

行业意义与局限

SambaNova 主打的 RDU 属于数据流架构，与传统 GPU 路线形成差异化竞争。H200 + RDU 的混合方案体现了「让合适的硬件做合适的事」的思路，也是当下推理服务商常见的优化方向。但本次披露的内容主要来自厂商在会议现场的自宣，缺少第三方独立复现数据；并且 SambaNova 并非主流 GPU 供应商，其客户群相对小众，对整个 AI 行业生态的影响较为有限。对于关注推理基础设施的开发者而言，这组数字可以作为同代硬件对比的参考之一，但不宜直接视作通用基准。