K2-Horizon 系列模型 GGUF 量化版已上线 Hugging Face

IFM 团队近日在 Hugging Face 平台上线了 K2-Horizon 系列模型的 GGUF 量化权重，供本地推理使用。本次发布的模型覆盖五个尺寸档位，包括面向边缘设备的 0.9B 和 3.7B 轻量版本，以及面向中高端硬件的 7B、32B 版本，同时还包含一款混合专家架构的 36B-A4B 变体（K2-Horizon-MoVA-36B-A4B）。

发布概况

本次发布的 GGUF 文件均托管在 Hugging Face 的 IFM 组织下，具体仓库链接如下：

• K2-Horizon-MoVA-36B-A4B-GGUF
• K2-Horizon-32B-GGUF
• K2-Horizon-7B-GGUF
• K2-Horizon-3.7B-GGUF
• K2-Horizon-0.9B-GGUF

完整尺寸梯队使不同硬件条件的用户均可选择适合本地部署的版本，从笔记本端到多卡工作站均能覆盖。

使用注意事项

需要注意的是，目前 llama.cpp 主仓库尚未合并对 K2-Horizon 架构的完整支持，相关 PR 仍在进行中。因此用户在本地推理引擎中加载这些量化权重时，需要使用对应的 llama.cpp 分支（fork），否则可能遇到兼容性问题。待上游 PR 合并后，主流推理框架预计将直接支持该系列。

信息局限

截至目前，关于 K2-Horizon 系列的训练细节、基准测试成绩、架构设计等关键技术信息均未在本次发布中披露。社区仅能通过量化文件的命名推测其参数规模与混合专家配置（如 36B-A4B 表示 360 亿总参数、40 亿激活参数），实际性能与适用场景有待后续测评与社区反馈进一步验证。