Unsloth 开始发布 Kimi K3 的 GGUF 量化文件

Moonshot AI 的 Kimi 系列在本地部署生态迎来新动向。社区消息显示，专注大模型量化的团队 Unsloth 已开始在 Hugging Face 仓库发布代号为「Kimi K3」的 GGUF 文件，目前 MXFP4 格式（文件大小约 1.5 TB）及配套的 mmproj 多模态投射文件已经可用。

已公开的文件

• MXFP4 GGUF：约 1.5 TB，采用 4-bit 微缩浮点量化
• mmproj：多模态投射文件，支持图文等多模态输入的本地推理
• 发布渠道：Unsloth 的 Hugging Face 组织页面

背景与意义

Unsloth 是开源社区内活跃的大模型量化团队，此前已为 Llama、Qwen、DeepSeek、Kimi K2 等主流模型提供过 GGUF 量化版本。Kimi K2 是 Moonshot 于 2025 年发布的旗舰模型，已在多项基准上展示出与一线闭源模型竞争的实力。Unsloth 提前放出「K3」代号的 GGUF，通常意味着 Moonshot 即将或已经发布新一代旗舰，亦可能是 K2 系列的一次重大能力升级。

信息局限

需要注意的是，本条消息源自 r/LocalLLaMA 论坛用户发帖，目前尚无 Moonshot 官方公告、模型卡（model card）或第三方基准测试佐证。1.5 TB 的文件体积暗示这是一个超大规模模型（推测参数规模在数百亿到千亿级），但具体的参数量、上下文窗口、训练细节及能力评测均未披露，mmproj 的存在仅能确认其具备多模态路径。

读者在尝试拉取或部署前，建议先关注 Moonshot 官方与 Unsloth 仓库的后续更新，以确认版本号、license 与具体能力边界。