不换模型也能涨，上海AI Lab让Agent Harness自进化
Self-Harness通过弱点挖掘、修改提案和回归验证，让Qwen3.5等模型在Terminal-Bench-2.0上…
上海人工智能实验室提出的 Self-Harness 方法，把 Agent 外层那套 Harness 也变成了可被搜索、验证和迭代的对象。近期，这项工作被 LangChain CEO Harrison Chase 转发，并被前 OpenAI 副总裁 Lilian Weng 收进自进化 Agent 相关博客。在 Terminal-Bench-2.0 这一多轮智能体 benchmark 上，固定模型、工具环境和评测协议不变，仅改 Harness，三个模型后端均获得 held-out 提升：Qwen3.5-35B-A3B 总提升 104%，MiniMax M2.5 提升 28%，GLM-5 提升 24%。论文与项目地址均已公开。
研究对象：Agent Harness 是什么
Agent Harness 可以理解为包在模型外层的一套运行装置，覆盖系统提示词、工具使用规则、验证器、运行时控制策略和轻量 middleware。在多轮工具任务里，它决定 Agent 怎么调用工具、什么时候停、失败后怎么恢复、产物又该如何验证。过去，这套东西主要靠工程师手调：要读大量执行轨迹、找失败原因、改提示词或工具规则，再反复跑 benchmark。当模型变多、任务变杂时，「一模型一套人工调参」越来越难扩展。
Self-Harness 的切入点正是这层 Harness。它不要求更换更强的模型，而是让模型检查自身运行轨迹、从失败中挖出模式、再提出有边界的 Harness 修改，最后交给回归测试决定是否采纳。
三步自改进闭环
Self-Harness 把流程压成三步：先挖弱点，再提改法，最后跑回归。
- 弱点挖掘（Weakness Mining）：让当前 Harness 驱动固定模型完成一批任务，记录完整执行轨迹、工具调用和评测结果。失败样本不会被当成孤例处理，系统会结合验证器反馈、Agent 行为和失败之间的因果关系，把可复用的失败机制聚起来。例如「缺少最终产物」「重复执行无效命令」「工具报错后不恢复」「探索太久迟迟不进入实现」等，会被归到同一类 Harness 缺陷。
- 修改提案（Harness Proposal）：同一个模型切换为 proposer，针对已挖出的失败机制提出候选 Harness edit。编辑只能落在预先声明的可编辑表面上，不能把整个 Agent 控制架构推倒重来。每个提案需说明想改变的行为、可能的回归风险以及修复当前失败模式的依据。
- 回归验证（Proposal Validation）：候选 Harness 在同一评测协议下重跑，并与当前 Harness 对比。接受规则保守：held-in 或 held-out 至少一个 split 提升，另一个 split 不退化，才进入下一代 Harness。
这与「自动改 prompt」的关键差别在于，Self-Harness 让每一次改动都进入可记录、可复现、可回退的评测闭环，而非由模型凭感觉拍板。
不同模型暴露不同弱点
Self-Harness 还在三个模型后端上观察到差异化的失败模式，说明它并非给所有模型加一段通用提示，而是会基于真实轨迹生成并筛选适合每个模型的改动。
- MiniMax M2.5：找到关键元信息后迟迟不交付，缺产物或超时。Self-Harness 保留的修改鼓励 Agent 更早识别必需输出、先创建初始产物，并在工具调用过长时转向具体实现与验证。
- Qwen3.5-35B-A3B：工具失败后陷入重复编辑、重复覆盖或重复命令循环，甚至删除评测必需文件。Self-Harness 为其引入依赖预检查、失败后产物恢复、避免完全相同命令重试，以及由工具错误触发的 artifact-focused 提醒。
- GLM-5：弱点集中在 shell 会话状态与从探索切到实现的时机。改进后的 Harness 会提醒 Agent 在修改环境变量、安装工具或调整路径后，确认这些变化能否跨命令持续可用；当长时间探索仍未形成产物时，推动其转向实现与测试。
边界与意义
Self-Harness 论文并未声称 Agent 已能「完全自己进化」，结果也主要来自 Terminal-Bench-2.0 与固定模型后端。但作为自进化 Agent 的一个组件，它给出了一条比较清楚的工程边界：改什么、怎么改、怎么验、什么时候拒绝。对 Agent 开发者而言，这一方向提示了一条新路径——在不动模型的前提下，通过 Harness 自迭代持续提升 Agent 的工具任务表现。