DeepSeek Harness 上线 LLM 验证器插件

开发者 uson1x 在 Show HN 上发布了 dsh-plugin-llm-verifier，这是一个面向 DeepSeek Harness（命令行/网页端代理运行环境 dsh）的第三方插件。其核心思路来自 LLM-as-a-Verifier 论文：用一个大模型作为「裁判」，对候选方案打分，并在多个并行尝试中自动挑选最优结果。插件通过 npm 安装到对应 profile 后，在 cordis.patch.yml 中追加一段配置即可生效，重启 dsh 即可加载。

核心能力：四个验证工具

插件在原 Agent 中新增了四类工具，使用者只需用自然语言描述意图，无需显式调用工具名：

• verify_rollout(task, n?, rollout_model?)：并行运行 n 次独立尝试（默认 3 次，范围 2–8），自动评分后返回最佳方案。这是插件的主打能力。
• verify_select(task, candidates[])：在已有 N 个候选中挑选最优。
• verify_compare(task, candidate_a, candidate_b)：对两个候选做一对一比较。
• verify_track(task, trajectory[])：评估一段逐步执行的轨迹已经取得了多少进展。

其他插件可通过 ctx.verifier（select / compare / track / score）直接调用同一套函数。每次 verify_rollout 都会在会话中启动一组真实的子 Agent 会话，用户可在 header 的 subagent 列表中逐个查看其完整轨迹。

评分机制：Probabilistic Pivot Tournament

为了减少单次打分噪声、消除位置偏置，插件在评分上做了几项工程化设计：

• 1–20 分的细粒度评分（默认 granularity=20），相比常见的 1–5 分更易区分接近水平的候选。
• 每次评分重复多次（默认 repetitions=4），取平均降低方差。
• 多维度同时评估（默认按规范遵循 / 输出正确性 / 是否报错 三条 criteria），小而聚焦的标准比单一笼统问题更稳定。
• N 选 1 时不直接逐个打分，而是采用 paper 中的「Probabilistic Pivot Tournament」：先把候选随机排成一个环，对相邻配对进行 pairwise 评分（每对既作为「A」出现一次，也作为「B」出现一次，从而抵消位置偏置），再从中取出最强的两个作为 pivot，让所有候选与这两个 pivot 比拼，累加胜率得出最终胜者。

文中给出的复杂度为：最多 3(N−1) 次配对评分（实际更少，因为环上部分配对可复用），相比朴素的 N(N−1)/2 次大幅减少。默认配置下，一次 verify_rollout(n=3) 会触发 3 次配对评分，每次含 12 次模型调用（即 criteria × repetitions），合计约 36 次 grading 调用，再加上 3 次实际尝试本身的费用，因此官方提示「一次 verify_rollout 通常需要数分钟而非数秒」。

Web 端 UI 与配置项

在 dsh 的网页界面，verify_rollout 会渲染为一张专用卡片：包含每个尝试的 reward 条、获胜者高亮、失败尝试及其 stop reason、获胜方案可展开预览。每个会话还会新增一个 Verifier Tab，展示该会话中每一次 verify_rollout 的细节：每条尝试的 reward、耗时、工具调用与轮数、judge 读取了多少 trajectory、尝试自身（非仅胜者）的成品，以及一段「judge 如何决定」的折叠面板，显示评分标准、重复次数以及所有已执行的 pairwise 对比。

配置上，plugin 仅强制要求两项必填——provider 与 model，分别对应该 profile 已注册的 LLM 路由与模型 ID，缺失则插件拒绝加载。其余如 granularity（默认 20）、repetitions（默认 4）、criteria（默认 spec / output / errors 三项）、temperature 等均可调整。

适用场景与局限

插件适合以下任务：对同一目标需要多份候选、再由模型自动挑最优——例如文案标题、landing page slogan、代码方案的择优。使用门槛方面，verify_rollout 必须依赖一个名为 spawn 的子 Agent provider（stock dsh 自带），其他三个工具则无此限制。由于评分依赖模型推理，整体时延与 token 成本不可忽视，作者明确建议预期按分钟级而非秒级规划。