rightmodeler 上线：回放 Agent 调用轨迹，推荐更便宜的模型替代方案
开源工具 rightmodeler 通过回放真实 Agent 轨迹并自动评估输出，帮助开发者在不同模型间寻找成本更低的替…
近日，开源工具 rightmodeler 在 Hacker News 上亮相，定位是帮助 LLM Agent 开发者用证据而非直觉来决策「能不能把当前模型换成更便宜的版本」。该工具读取用户既有的 Agent 调用轨迹，自动判断每一步的输出质量，并给出可量化的降本建议。
工作原理：回放轨迹而非猜测
rightmodeler 的核心思路是「先验证，再替换」。它把用户已经跑过的真实 Agent trace 输入候选廉价模型，生成新输出后与原始输出比对，按步骤（per-step）给出是否可降级的判断。区别于运行时网关（runtime gateway），它更像是一份离线报告——开发者先在自有数据上跑一遍，确认哪些步骤真的可以换模型，再做切换。
支持的轨迹格式与典型降级组合
工具自动识别 8 种常见 trace 格式并统一为同一套 per-step schema，覆盖：Claude Code、Codex、LangSmith / LangGraph、OpenAI SDK、Langfuse、Braintrust、Phoenix（OpenInference）以及 OTel GenAI。
其官网展示了一组示意性降级案例（标注为 illustrative，并非实测结果）：
- pr_summary：gpt-4.1 → gpt-4o-mini，节省 72%，质量分 0.94，证据为 reference+judge
- tool_agent：claude-opus-4 → llama-3.3-70b，节省 41%，质量分 0.88，证据为 trajectory，标记 CASCADE 级联风险
- json_extraction：gpt-4o → gpt-4o-mini，节省 68%，质量分 1.00，证据为 deterministic
- sql_generation：gpt-4o → deepseek-chat，节省 55%，质量分 0.91，证据为 reference
- auth_code_edit：因被判定为 HIGH-RISK，工具直接 abstain，不给出替代建议
每个建议都附带质量门槛（quality floor）、证据类型和置信度，并支持人工逐步骤审批。
适用场景与局限
对于已经在生产环境运行 Agent 的团队而言，rightmodeler 提供了一个比「拍脑袋选模型」更稳妥的降本路径：先离线验证每一步的输出质量，确认没有显著退化后再上线。需要注意的是，官方展示数据为示意值，实际效果取决于具体业务场景与轨迹质量；此外，工具目前只产出分析报告，不在请求路径上做自动路由，开发者仍需自行完成切换。