桃子桃子快讯
返回首页
研究论文

治理强度需匹配模型容量:跨27个模型梯度的实证研究

研究发现行为治理的最佳剂量随模型容量变化,4B参数为关键拐点;推理模型可承受更重的治理。

2026.07.08 · 周三3 分钟阅读

MOBIUS LLC 发布的一份预印本提出了一条经验法则:对大语言模型施加多少「行为治理」提示,取决于模型本身的容量,而不是越多越好。该研究在 0.8B 至 120B 参数的 27 个模型梯度(涵盖 7 个模型家族)上系统测量了四种治理剂量对生成质量的影响,并指出存在一个明确的容量拐点。

实验设计

研究者在每个模型-剂量交叉单元中,使用 30 条按类别分层的提示,分别在「无治理」与「有治理」条件下做温度为 0 的配对生成,并由一个冻结的评审模型 claude-sonnet-4-6 进行统一打分。四种治理剂量分别为:

  • 无治理(对照)
  • 3 项元认知检查,约 0.4 KB
  • 20 项元认知检查,约 2.5 KB
  • 完整 42 KB 治理覆盖

整个实验网格覆盖了从 0.8B 到 120B 的 27 个模型阶梯,提供了细粒度的剂量-容量响应曲线。

核心发现:4B 是关键拐点

结果显示,治理对生成质量的影响在约 4B 参数处出现翻转:

  • 低于 4B 时,任何剂量的治理都会拉低判定质量。最轻剂量平均下降 6.0 分,完整 42 KB 覆盖则下降 37.6 分。
  • 在 4B 处,最轻剂量开始转为正向(两个 4B 模型分别录得 +3.7 与 +9.3)。
  • 高于 4B 直到 120B,最轻剂量平均带来 +2.9 至 +8.8 的提升。

这意味着,对小模型注入冗长的系统级治理提示,实际上是在「帮倒忙」;而对足够大的模型,轻量的元认知检查则能稳定提升输出质量。

剂量选择与推理模型的例外

研究还发现,最优治理剂量随容量上升而略有增加,但始终偏轻:

  • 3 项检查的轻剂量在 4B 以上的多数梯度上为测得的最优值;
  • 20 项检查的剂量仅在部分梯度上胜出;
  • 42 KB 完整覆盖在所有非推理模型上均为净负向,即便是 120B 也不例外。

更值得关注的是推理模型的「破例」表现:DeepSeek-R1 系列蒸馏模型能承受比重参数同档模型高一档的治理剂量。例如 8B 的 R1 蒸馏模型在 20 项检查剂量下录得 +13.4 的最佳值;14B 的 R1 蒸馏模型甚至能令完整 42 KB 覆盖转为净正向(+7.4),这也是整张实验网格中唯一出现正值的完整覆盖单元。

一种替代的容量度量

研究者认为「容量」不应只看参数规模。他们设计了一个 40 题的确定性容量探测,并将该分数与治理表现做相关分析。结果显示,对非推理模型,该探测分数与拐点位置呈强相关(Spearman ρ=0.84),且比纯参数排序更具解释力,但对推理模型的治理承载力仍存在低估。

落地建议

基于上述曲线,研究给出了一条可直接应用于生产环境的校准规则:

  • 在容量拐点以下,抑制治理注入;
  • 在拐点以上,仅注入轻剂量(3 项检查级别);
  • 对推理家族整体上调一档剂量。

作者强调,该校准仅修改了一处数据文件而非代码逻辑,因此可以在不做架构改动的前提下对已有部署进行重新校准。论文 PDF、评测脚本与逐单元证据均已随论文一同公开。

信源