Mozilla AI 开源 LLM 网关 Otari 发布

Mozilla AI 团队近日开源了 LLM 控制平面 Otari：一个 OpenAI 兼容的统一网关，可代理 40 余家大模型提供商的 API，并提供虚拟密钥、预算管控、用量审计与 guardrails 等能力。项目仓库为 mozilla-ai/otari，既可自托管，也可在 otari.ai 使用托管版本。

产品定位与核心能力

Otari 是一个部署在自有环境中的代理服务器，应用只需对接一个 OpenAI 兼容端点（默认 :8000），由 Otari 在内部完成身份认证、预算校验、密钥解析与请求转发。跨厂商路由基于 Mozilla AI 同期开源的 any-llm Python SDK 实现，目前已覆盖 OpenAI、Anthropic、Mistral、Gemini、llamafile 等 40 余家提供商，客户端代码无需关心请求实际由哪家服务承接。

密钥与成本管理

Otari 在请求执行前即强制按用户或按密钥维度检查预算，而非事后对账。系统中存在三类密钥：

提供商密钥（如 OPENAI_API_KEY）：真实的服务商密钥，仅存在于 Otari 的环境变量中，应用不可见。
主控密钥（OTARI_MASTER_KEY）：用于管理 Otari 本身，可签发与吊销 API 密钥，不可用于业务请求。
API 密钥（gw- 前缀）：客户端通过 Authorization 头发送给 Otari 的令牌，支持作用域限定与随时吊销。

所有调用都会写入日志，可通过 /v1/usage 接口按模型、应用维度查询用量与花费。

快速上手

独立运行模式无需克隆代码或准备配置文件，启动一条 Docker 命令即可，SQLite 内置于容器中。首次运行时空数据库会自动签发一个 gw- 引导密钥并打印到日志，应用只需将其作为 Bearer Token 指向 http://localhost:8000/v1，官方 OpenAI Python SDK 及其他兼容客户端均可直接使用。配置中开启 default_pricing: true 后，会从 genai-prices 数据集读取模型价格，无需自行维护计费表。

全量部署与生态

若需要持久化的预算、用量与密钥数据，可通过仓库内置的 docker compose 启动完整栈：Postgres 容器负责数据持久化，同时启用 guardrails 与内置工具集。建议先执行 docker compose pull 再启动，避免 latest 标签带来陈旧镜像。Otari 同时提供 Python、TypeScript、Rust、Go 四种官方 SDK，以及基于 Python SDK 封装的命令行工具 otari-cli（pip install otari-cli），方便脚本化运维。

产品定位与核心能力

密钥与成本管理

快速上手

全量部署与生态

相关仓库