VetoBench：评估 AI 智能体是否重复已否决决策的开源基准

VetoBench 是一款面向 AI 智能体的开源评测基准，近日在 Hacker News 上以「Show HN」形式发布。该项目聚焦于一个长期被忽视的能力维度：判断智能体是否会重复团队已经否决过的工程决策，以及它能否识别相关记忆已经失效。与传统检索类评测不同，VetoBench 将评估目标从「能不能找到信息」转向「会不会重复错误」，这切中了许多 AI 编码助手在长程协作中容易忽视的痛点。

项目定位与评测目标

VetoBench 明确表示不评估检索准确率，而是评估决策质量。具体来说，它关注两个核心问题：

• 智能体是否会再次提出团队此前已经否决的方案；
• 智能体能否在相关记忆已经失效时识别出来。

这意味着评测重点从「知识调取」转向「行为后果」，更接近真实工程协作中人类审查者的判断逻辑。

复现性与开放性

项目方强调整套资源均可复现，包括基准本身、测试固件（fixtures）以及评测结果。开发者也明确邀请社区反馈以进一步完善项目。

不过，从目前公开的发布信息来看，尚未披露具体的评测数据集规模、覆盖的编程语言或框架范围、对照模型清单以及量化结果等关键细节，方法学细节仍有待补充。

社区反响与局限

该帖在 Hacker News 上目前仅有 2 个点赞、0 条评论，整体关注度非常有限。同时，由于缺少论文、机构背书或第三方独立验证，VetoBench 的方法严谨性与评测效度尚待社区进一步检验。

对于关注 AI 智能体评测体系的研究者和工程师而言，VetoBench 提出了一个有意义的观察角度——把记忆与决策质量挂钩，而非仅仅衡量检索能力。但它能否在评测生态中获得广泛引用，仍取决于后续是否提供更详尽的数据、模型对比与可复现实验记录。