工具
Millwright：Rust 编写的开源自托管 LLM 路由
开发者推出开源 Rust LLM 路由器 Millwright，支持多提供商策略路由与成本分析。
2026.07.23 · 周四约 3 分钟阅读
Show HN 上，一位独立开发者发布了一款名为 Millwright 的开源 LLM 路由器。该工具基于 Rust 编写，主打自托管部署，定位介于编码智能体（coding agents）与各类生成式 AI 接口之间，意在解决托管型 LLM 路由器在成本、透明度与可控性方面的痛点。
立项背景
作者在帖文中提到，近期 OpenRouter 可能被收购的传闻，以及 Ramp Router、Vercel AI Gateway 等托管型路由服务的快速涌现，让他意识到市场上需要一款更轻量、可自托管的替代品。Millwright 的核心诉求被概括为三点：节省成本、链路透明、性能可控。
核心能力
从作者整理的功能列表来看，Millwright 在功能颗粒度上贴近一款成熟网关产品，主要覆盖以下几个方面：
- 多提供商接入：原生支持 OpenAI 兼容 API、Anthropic、Amazon Bedrock 等多家服务。
- 策略化路由：基于策略的模型角色划分（cheap / mid / frontier），并在健康实例中自动选择最便宜的路径。
- 协议兼容：同时支持 OpenAI Chat Completions 与 Anthropic Messages 两类协议，并提供文本与工具调用的翻译转换。
- 缓存与会话亲和：按角色划分会话通道，避免并发流量被串行化。
- 成本与用量追踪：按团队统计花费、缓存命中率、模型与提供商占比，并提供请求级追踪。
- 成本分析：对比实测用量与候选方案的模拟成本，输出 HTML、Markdown、JSON 三种格式报告。
- 可靠性保障：包含有界故障转移（bounded failover）、熔断器、超时与并发限制等机制。
- 配置与部署：通过交互式命令完成提供商、模型、定价的配置，且不存储提供商密钥；部署形态为单一 Rust 二进制加 Docker，支持 SQLite 或 PostgreSQL。
技术栈与现状
整体上，Millwright 采用单一 Rust 可执行文件作为运行时，配合 SQLite 或 PostgreSQL 做持久化，部署门槛较低。作者坦承部分代码由 AI 编码智能体协助生成，并欢迎社区就路由策略、提供商覆盖、自托管阻力等方面提交反馈。
截至发稿，该项目在 Hacker News 上仅获得 4 个积分、2 条评论，社区反响较为平淡，尚未形成显著的生态影响力。对于正在评估自托管 LLM 网关方案的团队而言，Millwright 提供了一个可参考的轻量选项，但其长期活跃度与提供商覆盖广度仍需观察。