翁荔新博客：AI 自进化可能先从 Harness 层突破

前 OpenAI 安全副总裁、Thinking Machines Lab 联创翁荔（Lilian Weng）发表新博客《Harness Engineering for Self-Improvement》，提出 AI 自进化更现实的工程入口可能落在 Harness 层——即模型外部的运行环境，而非直接改写模型权重。DeepSeek 研究员崔添翼随后在社交平台转发附议，称 Harness 方向的自进化与模型方向同样有可能出成果，引发行业关注。

什么是 Harness

在这篇博客中，翁荔将"AI 系统"拆成两层：模型本身，以及模型以外的 Harness（运行外壳）。Harness 决定模型如何调用工具、管理上下文、读写文件、拆分任务、调度子智能体、验证结果、以及从失败中复盘，更接近运行时与软件系统设计，而非传统 Agent 框架里的几个模块。

她认为，近期更可行的自进化路径，可能并非"模型直接重写自己的大脑"，而是"模型开始优化自己获得答案的方式"。

三层递进：Context → Workflow → Self-Harness

翁荔梳理了近期一批相关研究，看到一条清晰的递进链条：prompt → 结构化上下文 → 工作流 → Harness 代码 → 优化器代码。优化对象正从上下文、工作流向 Harness 本身逐步深入。

Context Engineering

她重点提到 ACE 和 MCE 两个代表性工作。ACE 把上下文当作一本持续更新的"操作手册"，由 Generator、Reflector、Curator 三个角色协作维护。MCE 则把"如何管理上下文"和"上下文里放什么"拆成内外两层优化，朝自我管理记忆迈进了一步。

Workflow Design

解决的是"模型该怎么干活"。AI Scientist 搭建了一条从提出想法、写代码、跑实验到同行评审的科研流水线；ADAS 把"设计 Agent 工作流"本身当作可搜索的优化问题；AFlow 把工作流表示成图，用蒙特卡洛树搜索寻找更优结构。

Self-Improving Harness

到这一层，模型开始分析 Harness 的不足并提出修改。Self-Harness 类工作包含三个步骤：

• 弱点挖掘：从任务轨迹、错误日志中提取反复出现的失败模式；
• Harness 提案：模型提出小范围、可验证的修改；
• 提案验证：候选改动经测试确认无回归后才合并。

翁荔提到，这套流程在 MiniMax M2.5、Qwen3.5、GLM-5 等模型上跑 Terminal-Bench-2 时，确实为不同模型学出了不同的 Harness 配置。

进化搜索则把 Harness 直接变成可搜索对象。DGM（Darwin Gödel Machine）让 coding agent 修改自己的 Harness 代码仓库：以 Claude 3.5 Sonnet 为基座，在 SWE-bench Verified 上从 20% 提升至 50%，在 Polyglot 上从 14.2% 提升至 30.7%，达到甚至超过人工设计的 agent。不过，这类方法更适合代码、算法、GPU kernel 等可自动评估的任务。

边界与挑战

翁荔并未把 Harness 视为模型训练的替代品，而是认为二者相互强化。但她也列出了当前 RSI 路径上难以回避的瓶颈：

• 评估器太弱：能跑通自我改进循环的多为代码、数学类有客观反馈的任务，研究品味、创新性等几乎不可量化；
• 上下文与记忆生命周期：任务越自主，需要管理的记忆越多，可能成为"智能本身的一部分"；
• 负面结果易被忽视：模型在以成功案例为主的数据上训练，可能不擅长判断何时该放弃；
• 多样性坍缩：强化学习类循环易反复利用已知高回报模式，缺乏防坍缩机制会逐渐同质化；
• Reward hacking：自我改进会优化任何给定信号——单元测试、评委模型或榜单分数都可能被"针对性讨好"；
• 长期健康与短期成功的矛盾：coding agent 多以"完成任务"为目标，难以顾及代码库长期可维护性；
• 人类角色位移：人类不会被踢出循环，而是要向"环外"移动，在合适抽象层提供监督。

翁荔的结论是：同一个模型放进不同 Harness 里，可能表现出完全不同的能力，"AI 自进化更现实的工程入口是什么"将成为下一阶段行业讨论的重点。