桃子桃子快讯
返回首页
研究论文

AQuA 自改进论文解析:更新的是研究状态而非智能体 LM

Reddit 用户拆解 AQuA 预印本架构,指出其递归自改进仅更新研究状态,并提出本地复现所需的变量清单与消融方案。

2026.08.21 · 周五3 分钟阅读

AQuA 预印本提出的「递归自改进」机制仅更新研究状态,并未改写研究智能体语言模型自身的权重。这是 Reddit r/LocalLLaMA 用户对 AQuA 论文架构的拆解,其核心目的是为本地模型复现者厘清哪些变量必须固定,哪些差异应当归因。

AQuA 论文中的三层分离

AQuA 在论文中明确区分了三个对象,避免把不同层面的变化混为一谈:

  • 驱动研究智能体的语言模型与评估器在同一个 Part 内保持固定;
  • 每个 Part 拥有独立且持久的研究状态,经验证的实验会更新该状态并影响后续提案,但 Part I 与 Part II 之间不共享状态;
  • 在 Part II 中,每一份 config diff 都会对应训练出一个独立的混合任务模型变体,这一训练属于实验本身,而非对研究智能体 LM 的更新。

为何对本地复现至关重要

上述区分对本地模型移植影响显著。在同一次 AQuA 运行中,即便智能体 LM 未变,后续提案也可能因累积状态的改变而出现差异;跨两次本地移植的分数差异,更可能来自智能体模型、状态历史、提示词与工具、评估器反馈或候选训练路径的混合作用,而非单一变量。

可信归因所需的发布清单

帖文建议,若要让归因具备可信度,相关发布至少应包含以下内容:

  • 智能体模型的精确型号与量化方案,以及上下文长度和采样参数;
  • 系统提示、工具 schema 与初始研究状态;
  • 全部状态更新与评估器返回值;
  • 评估器版本、config diff 与候选任务模型的训练设置;
  • 随机种子与逐次运行的完整 trace。

三类必要的消融实验

作者进一步指出,本地复现至少需要覆盖三类消融族系:

  1. 在同一 harness 与起始状态下仅替换智能体 LM;
  2. 保持 LM 不变,仅重置或重放研究状态;
  3. 保持 LM 与状态均不变,仅更改 harness 或评估器契约。

对于 Part II,候选任务模型的训练必须保留独立日志,否则训练产物的任何变化都可能被错误归因为智能体模型本身的能力差异。

当前局限与待解之问

帖文同时承认,AQuA 预印本目前只给出了架构级的分离说明,并未发布可运行的实现,也不足以支撑端到端复现。任何本地模型移植都将构成一项独立实验,而非对原始 AQuA 报告结果的直接再现。在只能优先发布一项产物的前提下,作者抛出一个开放问题:状态转移日志、评估器契约,还是带重复种子的完整「模型 × harness」矩阵,对归因可信度的提升最大?

信源