Kimi-K3 单节点 B300 部署实测：2.8T 参数如何装进一台服务器

Moonshot AI 于 7 月 27 日开源了 Kimi-K3 的模型权重，这是目前公开发布的最大规模开源权重模型，总参数量达 2.8 万亿。Fixstars 公司在权重放出的同一天即将其部署到单节点 8 张 NVIDIA B300 SXM6 的环境中，并完成了推理性能首测。整个流程——从下载权重到跑完基准测试——均在发布当天完成。

Kimi-K3 模型概览

Kimi-K3 是一款前沿级 MoE 架构大模型，激活参数量约 104B，每次推理从 896 个专家中激活 16 个（外加 2 个共享专家）。其架构最显著的特点是采用了 Moonshot 自研的混合线性注意力——Kimi Delta Attention（KDA），93 层中有 69 层为 KDA，仅 24 层为传统 Gated MLA。

关键规格如下：

总参数：2.8T；激活参数：104B
专家配置：每次激活 16 / 896 个专家 + 2 个共享专家
层数：93 层（69 层 KDA + 24 层 Gated MLA）
权重精度：MXFP4 权重 / MXFP8 激活（量化感知训练）
上下文长度：100 万 token（1,048,576）
多模态：原生视觉理解（MoonViT-V2，401M）
推理模式：始终开启思考模式（支持 low / high / max 三档强度）
许可证：Kimi K3 License

发布时的多项评测显示，Kimi-K3 是目前性能最强的开源权重模型，接近 Claude Fable 5、GPT 5.6 Sol 等顶级闭源模型，尤其在编程和智能体任务上表现突出。

测试硬件与环境

Fixstars 选用的部署平台为单节点 8 卡 NVIDIA B300 SXM6，关键配置如下：

GPU：8 × B300 SXM6
显存：每张 288GB HBM3e，合计约 2,304GB
CPU：Intel Xeon 6767P × 2（每颗 64 核，合计 128 核）
内存：3.0 TiB DDR5
互联：NVLink 5.0，每张 GPU 18 条链路，单向带宽约 956 GB/s
操作系统：Ubuntu 24.04.4 LTS（内核 6.8.0-71-generic）
软件栈：CUDA 13.0、驱动 580.105.08、SGLang 0.5.16（Docker 镜像 sglang-kimi-k3）

为什么选 SGLang

权重发布时，vLLM 与 SGLang 均已支持 Kimi-K3。Fixstars 最终选择 SGLang，关键原因是其支持 DCP（Decode Context Parallelism，解码上下文并行）。对于这种混合架构模型，KV 缓存的内存效率直接决定了实际可用的上下文长度：vLLM 在发布时尚不支持 DCP，KV 缓存在 8 张 GPU 上是复制的；SGLang 则可将 MLA 的 KV 缓存在 8 张卡之间分片，在同等显存下实现约 8 倍的有效上下文容量。

显存占用与单节点可行性

一个 2.8T 参数的模型即使以 FP8 精度存储，仅权重就需要约 2.8TB，远超该环境约 2.2TB 的总显存。但 Kimi-K3 发布的是 MXFP4 量化感知训练（QAT）权重，Fixstars 实测单卡权重约 196GB、8 卡合计约 1.57TB——可以原封不动地装进单节点 B300 x8。换言之，尽管模型体量巨大，其权重设计显然从一开始就以「单节点可跑」为前提。

部署过程

下载权重

MXFP4 权重总量约 1.6TB，下载耗时约 1 小时。中途曾出现部分文件下载卡住的情况，终止进程后重新发起即顺利完成。发布初期下载请求高度集中，如遇类似问题，建议直接重试。

启动参数要点

Fixstars 使用的启动命令关键选项包括：

--tp-size 8：8 路张量并行
--dcp-size 8：8 路解码上下文并行
--mem-fraction-static 0.85：静态显存占用比例
--mamba-full-memory-ratio 5：控制 KDA 状态池与 MLA KV 池的内存分配比例，数值越大越偏向短文本高并发场景
--speculative-algorithm DSPARK：启用推测解码，搭配公开的 draft 模型 RadixArk/Kimi-K3-DSpark
--reasoning-parser kimi_k3 与 --tool-call-parser kimi_k3：分别注册 Kimi-K3 的推理输出解析与工具调用解析

启动耗时约 89 分钟

从启动容器到服务就绪总耗时约 88.8 分钟，其中模型加载约 81.4 分钟。对于 1.6TB 量级的权重来说，加载时间不可避免；但每次调整配置都要重启的话，一次调试就要多花一个半小时——这在后续调优中是必须考虑的成本。

此外还有一个容易让人误判的坑：模型加载期间，docker logs 不会显示加载进度，会出现超过 20 分钟的「静默期」，让人怀疑进程是否已经卡住。Fixstars 提醒，遇到这种情况不必急于干预，耐心等待即可。