Muteval：为 LLM 评测做变异测试，揪出覆盖盲区
开源工具 Muteval 通过向被测系统注入退化，量化现有评测套件的「变异得分」，定位未能被发现的回归盲区。
做 LLM 应用的人往往有一整套评测（evals）用来检测回归，但「评测一直通过」并不等于「评测真的有用」。Show HN 上的开源工具 Muteval 把软件工程里成熟的「变异测试（mutation testing）」思路搬到了 LLM 评测领域：它会主动对被测系统施加可控的退化（称为 mutant），再跑一遍你已有的评测套件，看哪些退化能被抓住、哪些溜了过去，最终给出变异得分与幸存列表。
核心思路：变异得分与幸存者
变异得分（mutation score）定义为「被注入的回归中被评测捕获的比例」。Muteval 用一张 ASCII 进度条直观呈现，并在末尾附带置信区间（例如 33%，95% CI 10–70%）。未被捕获的退化被称为「幸存者（survivors）」，意味着评测存在覆盖盲区。工具还会为每个幸存者推荐一条新的评测规则（例如 checks.grounded("context")），帮助使用者补齐缺口。
在官方示例里，仅 2/6 的退化被捕获：
#1 [HIGH] SURVIVED [delete_sentences]：删除「如果答案不在上下文里，就说不知道」这一句后，评测没有察觉。#2 [MED] SURVIVED [weaken_modals]：把「ONLY」弱化为「preferably」，评测同样未拦截。
安装与上手
Muteval 是纯 Python 实现，核心不依赖任何重量级 LLM SDK：
pip install muteval安装主体；- 可选 extras 按需引入：
muteval[promptfoo]、muteval[deepeval]、muteval[ragas]，分别用于 promptfoo 摄取、deepeval 与 RAGAS 评分。
被测系统支持任意 OpenAI 兼容端点，通过 --base-url 或 OPENAI_BASE_URL 指向 Groq、Gemini 兼容服务、GitHub Models、Ollama 或本地服务器均可。60 秒快速上手路径是：muteval init --template rag 生成配置 → muteval check 校验链路 → muteval run 跑全套。不想写配置时，可直接以 --prompt-file 与 --cases 启动，并用 --judge 给出口语化的判分准则。已有 promptfoo 套件的用户只需 muteval run --promptfoo promptfooconfig.yaml，工具会读取其中的 providers 与断言直接复用。
工程化能力
为便于在真实工程链路里落地，Muteval 提供了一组偏运维的能力：
- 缓存：
--cache runs.sqlite会记忆模型与判分结果，相同配置复跑零调用，可显著降低成本； - 并发：
--concurrency 8让多个 mutant 并行评估，结果与串行一致； - 预算护栏：
--max-calls 500会在达到上限前失败并退出，避免意外超额； - 复用既有 target：可用
--target mypkg.app:answer接入函数式被测对象，或用--endpoint https://...接入已部署服务，无需包装run()。
结果可以通过 muteval results 查看按严重度排序的幸存者列表，muteval show 1 展开单条记录的 diff 与建议修复，muteval report --html coverage.html 输出可分享的独立 HTML 报告。
评测质量的多维度审计
除了变异覆盖，Muteval 还内置 probe 模块对评测套件本身做体检，覆盖几条相互独立的轴：
- 判分可靠性（judge reliability）：LLM 判分器在相同输入下是否会翻转结论；
- 区分力（discrimination）：给定正/负样例，评测能否拉开好坏输出；
- 统计充分性与冗余度：作为卫生检查项；
- 人类一致性：若带标签，可计算 Cohen's κ，被视为最权威的有效性证据。
工具以「报告卡」形式呈现，不强行合成单一总分；面向 pairwise A/B 判分器另有「判分偏差面板（位置/长度/自偏好）」作为可选库函数提供。
定位与边界
项目定位是补齐 LLM 评测工具链的「元层」缺口：promptfoo、deepeval、OpenAI Evals、LangSmith 等关注的是系统本身的回归，而 Muteval 关注的是「评测本身够不够好」。其作者坦承局限——变异测试是一种基于代数的近似，并不能保证捕到所有真实退化；因此变异得分应作为定位盲区的起点而非评测质量的唯一指标，相关限制已写入 docs/LIMITATIONS.md。对于想离线、零 API Key 体验的读者，可运行 muteval run --config examples/promptfoo_offline/muteval_config.py --no-color，约 1 秒即可看到工具如何在一个示例 support-bot prompt 中发现 promptfoo 漏检的规则。