Maxim 开源 AI 网关 Bifrost:统一 23+ 模型厂商,单一 API 即可调用
Maxim 在 Hacker News 发布开源 AI 网关 Bifrost,通过 OpenAI 兼容接口打通 23 家…
Maxim 在 Hacker News 发布了一款名为 Bifrost 的开源 AI 网关。它通过单一 OpenAI 兼容 API,将 OpenAI、Anthropic、Amazon Bedrock、Google Vertex AI、Azure、Cerebras、Cohere、Mistral、Ollama、Groq 等 23 家以上模型厂商的接口统一封装,开发者无需为每个厂商维护独立的调用逻辑。Bifrost 以「Show HN」形式首次公开亮相,提供 NPX、Docker 与 Go SDK 三种部署方式,主打开箱即用与零配置启动。
核心功能与多模型路由
Bifrost 提供 OpenAI 兼容的统一接口,开发者只需将 base_url 指向本地或自部署网关地址,即可继续使用 OpenAI、Anthropic、Google GenAI 等主流 SDK,无需改动业务代码。在路由层,网关内置自动故障切换,可在主供应商不可用时无缝切换到备用模型;同时支持跨多个 API Key 与供应商的智能负载均衡,便于在多家厂商之间分配配额和成本。文本、图像、音频和流式响应等模态均可在同一接口下访问。
企业级能力
针对生产环境,Bifrost 提供了较完整的企业特性集:
- 语义缓存:基于语义相似度缓存响应,降低重复请求的成本与延迟。
- MCP 网关:支持 Model Context Protocol,使模型能够调用外部工具,如文件系统、网页搜索、数据库等。
- 预算与治理:按虚拟 Key、团队、客户进行分层成本控制,配合细粒度访问控制。
- 可观测性:原生输出 Prometheus 指标、分布式追踪与全量请求日志。
- 身份与密钥管理:支持 OIDC/OAuth 2.0 登录与目录同步,API Key 通过环境变量或部署密钥管理。
性能表现
Bifrost 团队公布的基准显示,在持续 5000 RPS 的压力测试下,网关本身每请求仅增加约 11 微秒的开销,相对 OpenAI/Anthropic 厂商本身的延迟几乎可以忽略。仓库结构采用模块化设计,将供应商实现、配置存储、日志存储、向量存储、HTTP 传输层与 Web UI 解耦,并预留插件系统用于自定义中间件,如 semanticcache、governance、telemetry、mocker 等。
部署与上手方式
最简部署仅需一行命令:npx -y @maximhq/bifrost,随后访问 http://localhost:8080 即可进入 Web 管理界面。也可通过 docker run -p 8080:8080 maximhq/bifrost 启动容器化实例,再以 curl 发送标准 OpenAI 格式请求完成首次调用。对于已有项目,官方提供了 OpenAI SDK、Anthropic SDK、Google GenAI SDK 的 drop-in 替换示例,整体迁移成本较低。Bifrost 项目以开源形式发布,开发者可在 GitHub 上获取源码、Go SDK 集成文档与完整测试套件。
