BRL 团队在 4 张 B200 上为 Kimi-K2.6 跑出 511.6 tok/s

一个名为 Brainsless（论文编号 BRL-2026-11，2026 年 7 月发布，共 10 页）的团队在 Hacker News 的 AI 板块贴出技术报告，称其使用四块 NVIDIA B200 GPU，通过无损投机解码（lossless speculative decoding），将万亿参数开源模型 Kimi-K2.6 的单流推理速度推到 511.6 tok/s。该数字按公开排行榜统一口径测得，比榜单所有其他 GPU 提供商高出约 13.4%，平均到每张 GPU 约为 127.9 tok/s。

测试方法与榜单口径

团队完全沿用 Kimi-K2.6 公开榜单的负载与协议：输入 10,000 token、输出 2,048 token、温度 0.6，每个测量单元 16 条全新 prompt，且 prompt 在测量开始前用 SHA-256 哈希锁定。结果最初在深度 7 配置下记录为 505.9 tok/s；随后通过对未修改的公开发行版进行三次盲复测（depth 6，n=16），将记录抬升至 511.6 tok/s，首发 token 延迟约 240 ms。同时，报告指出榜单上最快的提供商在该负载下需约 11 秒。

报告强调：

所有用到的引擎版本、参数、命令都来自公开资源；
仅需一行命令 modal run stage600_r.py，即可在租用的 4×B200 节点（约 15 美元、约 40 分钟）上复现，并自动校验 prompt 哈希。

与各提供商的对比

公开榜单共有 14 家提供 Kimi-K2.6 推理服务的厂商，记录当日（2026-07-05）的中位数排名如下：

Crusoe：438.1 tok/s（硬件未披露）
Fireworks：381.2 tok/s
CoreWeave：261.8 tok/s（GB300 NVL72 机架）
Nebius：222.4 tok/s
Together（FP4）：218.2 tok/s
GMI（FP8）：40.2 tok/s
NVIDIA 在 671B 模型上的 8×B200 无损参考记录：340 tok/s

BRL 的 511.6 在同口径下比榜单当日榜首 Crusoe 高约 16.8%，并在统计意义上高出所有 GPU 提供商的中位数；同时是榜单中唯一使用「仅四块 GPU」这一规模的配置。

「无损」与性能拆解

所谓「无损」指完整模型逐 token 验证草稿，输出分布等同于原模型本身的输出分布，作者称之为「可购买的事实，而非承诺」。其关键拆解数据为：

裸前向计算：6.6 ms / 步（10k 上下文）
草稿 token 验证：0.397 ms / 步
翻倍节点到 8 块 GPU：对性能没有可观察影响——说明瓶颈在引擎开销，不在算力
将同一模型、同一草稿头、同一协议迁移到「物理指向的引擎」后，每步减少 2.1 ms，使该单元高出榜单其他 GPU 提供商中位数 15.5%

作者还披露，其自训练投机解码头在同一会话对比中比官方默认头高 5.8%，并表示已有部分请求冲到 568 tok/s，最高首八分组中位数 538 tok/s。

来源背景

报告署名为 Mohammad Alsufi 与 Connor Boone，以「Brainsless」名义发布，目前没有其他主流 AI 实验室或第三方机构对该数字做独立验证；其方法学、命令与 artifact 命名都已公开，可供社区复现。