DFlash 推理加速方案：单卡 RTX 6000 实现 3.4 倍提速

近期，一种名为 DFlash 的 LLM 推理加速方案在社区中引发关注。该方法借助 block-diffusion（块扩散）草稿头实现推测解码（speculative decoding），在单张 RTX 6000 显卡、同一 Qwen 模型上实现了 3.4 倍的吞吐提升，在重复性 JSON 输出场景下达到 152 tokens/秒。

核心数据与测试条件

DFlash 的核心思路是把 block-diffusion 用作推测解码中的 draft head（草稿模块）：先由草稿头一次性生成多个候选 token，再交由主模型统一校验，从而在不损失输出质量的前提下显著提升推理速度。根据社区披露的测试结果，在单卡 RTX 6000 环境下，DFlash 将 Qwen 模型的吞吐拉升至 152 tok/s，相较基线提升约 3.4 倍。

• 测试硬件：单张 NVIDIA RTX 6000
• 测试模型：Qwen
• 加速比：约 3.4 倍
• 输出速度：152 tokens/秒（重复性 JSON 场景）

与 Atomic Chat MTP 方案的对比

社区同时在关注 Atomic Chat 所采用的 MTP（Multi-Token Prediction，多 token 预测）方案。MTP 直接在模型内部预测未来 3 个 token，无需额外草稿模型。两者在适用场景上呈现出明显的分化：

• DFlash：在代码生成与结构化输出（如 JSON）等任务上表现更佳
• MTP：在聊天对话与创意写作场景下效果更稳定

这意味着开发者可根据具体业务负载，在两种方案之间灵活取舍。

开源与上手方式

DFlash 的 block-diffusion 草稿头权重已在 Hugging Face 开放下载，开发者可直接加载到支持的模型上体验。社区也同步提供了在线测试入口，方便在本地部署之前先快速感受提速效果。对关注推理成本与延迟的团队而言，DFlash 为单卡部署下的吞吐量优化提供了又一条可选路径。