MindControl for llama.cpp 发布基准测试，推理 token 减半且精度不损

近日，开发者社区中出现了一项针对 llama.cpp 推理过程的 token 预算控制工具「MindControl」的基准测试结果。该工具不采用硬截断的方式，而是通过在采样器层面插入「模型自述思考预算」式的引导语句，让模型自主感知剩余思考空间，从而在保持输出准确度的前提下压缩推理消耗。

基准设置

测试模型为 Qwen3.6-27B（Q4_K_XL 量化，启用 MTP），关闭推测解码以排除干扰。基准选取 HumanEval+ 与 LiveCodeBench 两套代码任务，覆盖不同难度档位。每一档 token 预算下分别对比四种配置：

• naive：llama.cpp 原有的直接截断，不做任何引导；
• grace-period：仅设置宽限期后硬停；
• soft + hard：先软性提醒再硬停；
• intro + soft + hard：完整的三段式引导机制。

关键结果

• token 消耗随引导程度加深而持续下降，任务越复杂收益越明显；
• LiveCodeBench 上，四种配置的精度排序（naive > hard-limit > soft+hard > intro+soft+hard）在所有预算档位下均成立，无例外；
• 最高预算档位下，intro+soft+hard 配置的 token 用量不到 naive 的一半，精度基本持平；
• HumanEval+ 上，多数配置与无约束基线持平或更高，整轮最佳分 95.7% 来自引导最强、预算最紧的配置，token 用量约为基线的一半；
• 作者推测，简单任务上精度反而提升，可能源于推理预算机制阻止了模型「过度思考」或陷入退化循环。

社区质疑的回应

测试者针对早期 PoC 阶段收到的几条主要意见做了直接答复：

• 「自定义引导语句可能让模型偏离训练分布」：整体测试集上未观察到准确率惩罚，但在难题子集上各配置精度均低于无约束基线，作者认为这更像是复杂推理任务本身需要更多思考，而非分布偏移主导；
• 「不如直接检测循环并重启推理」：两者目标不同，预算引导是常态机制，循环检测 + 重启可作为退化场景下的兜底；
• 「软/硬引导未能跑赢简单截断」：本次结果不支持这一结论，每增加一段引导都伴随 token 下降而无明显精度损失，多个档位甚至反超 naive。

局限与后续

本次仅在单一模型、单轮测试下完成，作者明确表示该方法尚未完全证明可推广。完整数据表与图表已更新至仓库 README（github.com/laurencehardman/llama-mindcontrol）。后续可能的方向包括：与循环检测 + 重启机制组合使用，以及在更多模型与基准上验证一致性。