llama.cpp 合并 Q2_0 量化 支持 1.58-bit 三元 Bonsai 模型

llama.cpp 近日合并了一项面向 CPU 的量化更新，正式引入 Q2_0 格式，主要目标是为 prism-ml 团队推出的「Ternary Bonsai」（三元 Bonsai）系列模型提供推理支持。该系列目前公开 1.7B、4B、8B 三个参数规格，并已上线 Hugging Face 集合 prism-ml/ternary-bonsai。此次合并也补齐了框架内 Q1_0、Q2_0、Q4_0、Q8_0 的低比特量化家族。

核心变更：Q2_0 与 1.58-bit 三元量化

由 khosravipasha 提交的 Pull Request #24448 明确将本次改动限定在 CPU 路径，主要目的是支撑三元 Bonsai 模型。所谓「三元」即采用 1.58-bit 极低精度——权重仅取 -1、0、+1 三种取值——相比 Q4_0、Q8_0 等常规量化方式更为激进，目标是在显著压缩模型体积的同时降低内存与算力开销。

本次提交覆盖的 CPU 范围包括：

• ARM NEON 加速路径
• 通用标量回退（generic scalar fallback）

作者在 PR 描述中同时披露，x86、Metal、CUDA、Vulkan 等后端的实现均已就绪，将作为后续 PR 陆续提交。

模型与定位

• 模型仓库：Hugging Face 集合 prism-ml/ternary-bonsai
• 已知规格：1.7B、4B、8B 三档
• 典型场景：本地 CPU 推理、低显存设备、边缘与嵌入式部署

1.58-bit 量化的概念并非首次出现。此前 BitNet b1.58 等研究已验证三值网络在大语言模型上的可行性。此次 llama.cpp 将其纳入官方量化格式，意味着社区可以在主流推理框架中直接加载并运行该类模型，落地门槛进一步降低。

后续关注点

随着 x86 与各 GPU 后端陆续接入，Q2_0 路径有望覆盖更广泛的硬件平台。对于长期关注本地 LLM 部署、希望在 ARM 设备或资源受限环境中运行模型的开发者而言，这是一项值得跟踪的基础设施进展。后续若官方公布速度、显存与质量层面的对比数据，将更具参考价值。