AI 科学家不漂移：用结构化脚手架与偏好先知守住假设

用大模型跑自动化实验越来越容易，但回路很容易陷入「只为优化指标服务」的局部微调，忘了最初的科学假设。来自 arXiv 的新工作《An AI Scientist that Doesn't Drift》针对这一现象，提出了一个结构化的「AI 科学家」框架，并在四足机器人导航策略的仿真研究中进行了对照实验。

核心问题：指标漂移而非假设驱动

作者指出，当前主流的自主研究回路本质上把 LLM 当成实验执行器：给定一个指标，模型就围绕它不断调参、堆技巧，迭代出的结果与最初要回答的科学问题越来越远。这种「指标漂移」让研究看起来高效，却失去了检验假设的能力。

为此，作者主张把研究回路拆成约束机制，而不是把判断力交给模型自己堆出来的「通用智能」。

三件套：实验卡、子智能体、品味先知

论文在 Karpathy 的 autoresearch 范式基础上，新增三个组件：

不可变实验卡（experiment card）：每一次迭代都按固定 schema 同时记录预测与结果，被证伪的假设不能事后改写，相当于为回路加了审计约束。
专职子智能体：各子智能体被限定在机械性任务角色中，避免一个模型既当裁判又当运动员。
kkanbu（品味先知）：唯一被允许做主观判断的组件，把用户的研究品味以类型化知识图谱的形式外化保存，决定回路「往哪里看」。

脚手架负责让回路诚实，kkanbu 决定它看向哪个方向——这是本文贯穿全文的核心区分。

对照实验：去掉先知照样跑得动

为隔离 kkanbu 的作用，作者在 11 条研究线（research streams）上各跑了两次完全相同的回路，一次带 kkanbu，一次不带。结果有几个值得注意的发现：

两条「手臂」都没有漂移：各自约四分之三（≈75%）的自身假设在实验中被证伪。
训练出的最佳策略来自没有 kkanbu 的那一支。
真正体现差异的是方向：只有带 kkanbu 的臂探索了「测试时自适应（test-time adaptation）」方向，并在其领跑的若干研究线中贡献了获胜设计。
不带先知的臂在不同流之间需要反复重新推导同一经验，kkanbu 则能把教训跨流迁移。

换言之，先知不带来「更高的分」，但带来「不同的、有时更值得问的科学方向」。

意义与局限

这篇工作的价值不在于刷出新的 SOTA，而在于把「AI 做研究」这件事重新拆解为可约束、可审计、可对比的工程问题。它提醒社区：让 LLM 自主跑实验不难，难的是让回路忠于假设；而品味、判断与方向感，最好留在一个可被人类理解和编辑的外部组件里，而非塞进模型权重。文中的实验规模（仿真、11 条研究线、四足导航）仍属中等，对更复杂、更长链条的科学问题是否同样适用，仍有待进一步验证。