工具
WANDR:面向 agent 的大规模实体发现与事实验证基准
WANDR 是一款评估 AI 智能体实体发现与事实核验能力的密集型基准工具。
2026.07.15 · 周三约 2 分钟阅读
WANDR 是一个用于评估 AI 智能体(agent)在「发现大量实体」并「验证每个实体特定事实」方面能力表现的测试工具。与传统单一任务的基准不同,WANDR 提供了一套密集且可解释的评测信号,能够清晰揭示智能体在哪个环节失败、失败原因是什么。
核心思路:密集且可解释的评测信号
WANDR 的设计目标是为 agent 评估提供一个细粒度的反馈通道。智能体在完成「大规模实体发现 + 事实核验」这类任务时,往往会在中间环节出错却最终返回看似合理的结果。WANDR 通过对每一步进行独立打分,让研究者可以定位具体的失败节点。
- 评测聚焦两阶段能力:先发现候选实体集合,再逐一验证事实。
- 信号密集化:相比传统 benchmark 的单一总分,WANDR 输出多维度、可解读的数据。
- 失败可定位:明确指出 agent 在哪一步出错,而非仅给出整体通过率。
配套能力:半自动训练数据生产管线
WANDR 的评测管线同时也是一个「半自动化的训练数据工厂」。这意味着在评测过程中产生的标注和样本,可以被反向用于构造训练数据,从而形成评测与训练之间的闭环。
- 评测流程中自动生成的标注可服务于模型微调。
- 提供一种以 benchmark 反哺训练数据的机制。
信息有限,待更多细节披露
目前公开信息仅来自社交媒体上的简要介绍,WANDR 的具体技术细节、评测规模、覆盖领域,以及在主流 agent 上的实测表现尚未披露。要全面评估其价值,仍需等待论文发布或更详细的技术文档公开。
