llama.cpp 合并支持 Ternary-Bonsai-8B-Q2_0 的 CUDA 推理 PR

llama.cpp 近日合并了一项 PR，使该推理框架可以在 CUDA（NVIDIA GPU）后端上加载并运行 Ternary-Bonsai-8B-Q2_0 模型权重。该消息由 r/LocalLLaMA 社区用户发帖确认，PR 合并后，社区正等待实际推理效果验证。

事件背景

Ternary-Bonsai-8B-Q2_0 是一类较为极端的量化模型权重，其量化位宽低至 Q2_0（平均约 2 bit），并且命名中带有「Ternary」，暗示权重在量化后被映射到三值集合（通常为 -1、0、+1），相较常见的 Q4/Q8 量化更为激进。Llama.cpp 是目前本地运行大模型最主流的 C++ 推理框架之一，对 GGUF 格式下的多种量化方案提供支持。

此次合并的意义

• CUDA 后端扩展：此前部分低 bit 量化路径在 GPU 上的实现不完整，PR 合并后，ternary 权重可在 NVIDIA GPU 上直接运行，而不仅限于 CPU。
• 极低显存占用：Q2_0 量化目标是将 8B 级别模型压缩到极小的体积，便于在消费级显卡甚至显存受限的设备上加载，是「本地能跑」与「能跑得动」之间的折中探索。
• 生态验证：ternary 量化的实际可用性取决于推理框架的支持，本次合并是社区在推进该方向落地的一步。

现状与不确定性

原帖仅提及「合并完成」，并未提供具体的推理速度、显存占用、困惑度或与 Q4_K_M 等方案的对比数据。Ternary 量化本身在精度损失上通常较为明显，具体是否适合实际使用场景，需要后续基准测试与社区反馈进一步确认。原帖作者也仅表示「Time to see what it's capable of」，可见实际效果尚待验证。

对于关注本地 LLM 与极低 bit 量化的开发者而言，这条更新值得跟进；但对一般用户而言，目前信息量有限，建议等待后续 benchmark 结果再判断其实际价值。