让 AI Agent 学会及时停手：华盛顿大学提出 CONVOLVE 上下文工程方法

当用户请求本身不可行、或者当前环境中根本无法完成时，AI Agent 应该在什么时候主动「停手」？围绕这一现实问题，华盛顿大学团队提出了 Agentic Abstention 框架，并设计了一种名为 CONVOLVE（Context Evolution）的上下文工程方法，专门提升 Agent 在多轮交互中的弃答能力。该研究在 2.8 万余个任务上评估了 13 个 LLM-as-Agent 系统和 2 种 Agent 脚手架。

研究背景：从「能不能做」到「该不该停」

与传统大语言模型（LLM）的单轮问答不同，Agent 通常需要在多轮交互中调用搜索、网页浏览和终端等工具，逐步判断任务是否能完成。然而现实场景中，用户指令未必清晰，目标也不一定能实现。许多 Agent 并不知道何时该停下来，常常在任务已经不可行时仍继续搜索、点击和调用工具，造成资源浪费和体验下降。

围绕「Agent 何时该停止行动」这一核心问题，研究团队定义了弃答情形，构建了系统评测任务，并提出了无需更新模型参数的改进方法。

框架设计：两种弃答与三类任务

研究团队将弃答情形分为两类：

• 基于请求的弃答：仅从指令本身就能判断任务不可行，例如条件自相矛盾。
• 基于环境的弃答：任务起初看似可行，但在交互之后才发现环境中缺少目标或必要前提。

为系统评估 Agent 的弃答能力，团队设计了三类评测任务，共覆盖超过 2.8 万个任务：

• 网页场景：基于模拟在线购物环境 WebShop 构建，包含正常购物任务和应当弃答的任务。
• 终端场景：基于 Terminal-Bench 2.0 构建，用于测试 Agent 在 Docker 化终端环境中的长程任务执行能力，并在可解任务之外加入了一批应当弃答的任务。
• 问答场景：基于 AbstentionBench 改造，将单轮问答任务扩展为可搜索、可多轮决策的交互式任务，覆盖答案未知、虚假前提、主观、上下文不明确和意图不明确等情形。

核心方法 CONVOLVE：把弃答经验提炼成「停止规则」

CONVOLVE 是一种用于提升 Agent 弃答能力的上下文工程方法，其核心思路是不直接训练新参数，而是把交互轨迹中的弃答经验整理成经验手册，作为后续任务的上下文提示，帮助模型更早作出弃答判断。

实验结果显示：

• 多数 Agent 难以做到及时弃答，及时弃答率仅为 0–30%，往往要经过多轮尝试后才会停下来；随着交互轮次增加，越来越多的 Agent 能最终意识到任务不可行，但及时弃答召回率仍不到一半。
• 模型能力、推理方式和 Agent 框架都会影响弃答表现。在网页场景中，表现最好的 Llama-3.3-70B 最终弃答率接近 85%，但多数模型即使交互 10 轮，弃答率仍低于 50%；在终端场景中，即使用同一个模型，换一套框架弃答效果也可能相差甚远，例如 GPT-5.4-mini 在 Codex CLI 上的表现明显优于 Terminus 2。
• 更强的推理能在一定程度上减少过度弃答，但并不必然提升整体弃答表现。Qwen3-235B 的 Thinking 版本虽然提升了及时弃答率，但总体弃答率反而下降。
• 模型规模扩大也并不意味着效果更好：研究团队在 Qwen 系列上测试发现，规模增大提升了最终弃答率，但对及时弃答几乎没有帮助。

CONVOLVE 的效果则体现在两点：

• 仅用少量交互轨迹即可显著提升弃答能力：在网页场景中，CONVOLVE 只用 20 条交互轨迹，就把 Llama-3.3-70B 的及时弃答率从 26.7 提升到 57.4，最终弃答率从 83.2 提升到 100.0。
• 小模型学到的经验可以迁移到大模型：8B 模型总结出的经验手册也能直接提升 70B 模型的弃答表现，且效果接近大模型使用自身经验时的水平。

不足与未来方向

研究团队也指出了当前工作的局限：

• 评测场景仍有限，尚未覆盖真实 Agent 可能面对的复杂界面、私有工具、长期用户状态和多步骤工作流。
• 现有弃答任务主要覆盖「目标缺失」和「前置条件缺失」等情形，权限边界、外部源失效、工具输出冲突等更隐蔽的不可行场景尚未充分覆盖。
• 弃答表现不仅取决于模型本身，也受 Agent 框架设计的显著影响，本文结果更多反映的是当前系统的阶段性表现。
• 弃答并非越多越好，过度弃答会削弱 Agent 实用性，未来需结合任务成功率、澄清请求与人工介入等机制综合评估。

论文原文已在 arXiv 发布，编号 2606.28733，更多技术细节可参阅原文。