治理强度需匹配模型容量:跨27个模型梯度的实证研究
研究发现行为治理的最佳剂量随模型容量变化,4B参数为关键拐点;推理模型可承受更重的治理。
MOBIUS LLC 发布的一份预印本提出了一条经验法则:对大语言模型施加多少「行为治理」提示,取决于模型本身的容量,而不是越多越好。该研究在 0.8B 至 120B 参数的 27 个模型梯度(涵盖 7 个模型家族)上系统测量了四种治理剂量对生成质量的影响,并指出存在一个明确的容量拐点。
实验设计
研究者在每个模型-剂量交叉单元中,使用 30 条按类别分层的提示,分别在「无治理」与「有治理」条件下做温度为 0 的配对生成,并由一个冻结的评审模型 claude-sonnet-4-6 进行统一打分。四种治理剂量分别为:
- 无治理(对照)
- 3 项元认知检查,约 0.4 KB
- 20 项元认知检查,约 2.5 KB
- 完整 42 KB 治理覆盖
整个实验网格覆盖了从 0.8B 到 120B 的 27 个模型阶梯,提供了细粒度的剂量-容量响应曲线。
核心发现:4B 是关键拐点
结果显示,治理对生成质量的影响在约 4B 参数处出现翻转:
- 低于 4B 时,任何剂量的治理都会拉低判定质量。最轻剂量平均下降 6.0 分,完整 42 KB 覆盖则下降 37.6 分。
- 在 4B 处,最轻剂量开始转为正向(两个 4B 模型分别录得 +3.7 与 +9.3)。
- 高于 4B 直到 120B,最轻剂量平均带来 +2.9 至 +8.8 的提升。
这意味着,对小模型注入冗长的系统级治理提示,实际上是在「帮倒忙」;而对足够大的模型,轻量的元认知检查则能稳定提升输出质量。
剂量选择与推理模型的例外
研究还发现,最优治理剂量随容量上升而略有增加,但始终偏轻:
- 3 项检查的轻剂量在 4B 以上的多数梯度上为测得的最优值;
- 20 项检查的剂量仅在部分梯度上胜出;
- 42 KB 完整覆盖在所有非推理模型上均为净负向,即便是 120B 也不例外。
更值得关注的是推理模型的「破例」表现:DeepSeek-R1 系列蒸馏模型能承受比重参数同档模型高一档的治理剂量。例如 8B 的 R1 蒸馏模型在 20 项检查剂量下录得 +13.4 的最佳值;14B 的 R1 蒸馏模型甚至能令完整 42 KB 覆盖转为净正向(+7.4),这也是整张实验网格中唯一出现正值的完整覆盖单元。
一种替代的容量度量
研究者认为「容量」不应只看参数规模。他们设计了一个 40 题的确定性容量探测,并将该分数与治理表现做相关分析。结果显示,对非推理模型,该探测分数与拐点位置呈强相关(Spearman ρ=0.84),且比纯参数排序更具解释力,但对推理模型的治理承载力仍存在低估。
落地建议
基于上述曲线,研究给出了一条可直接应用于生产环境的校准规则:
- 在容量拐点以下,抑制治理注入;
- 在拐点以上,仅注入轻剂量(3 项检查级别);
- 对推理家族整体上调一档剂量。
作者强调,该校准仅修改了一处数据文件而非代码逻辑,因此可以在不做架构改动的前提下对已有部署进行重新校准。论文 PDF、评测脚本与逐单元证据均已随论文一同公开。
