LiteLLM：开源 LLM 统一网关，兼容 OpenAI 格式调用 100+ 模型

LiteLLM 是一款开源的大模型 AI 网关，旨在为开发者提供统一的接口来调用 100+ LLM 提供商，覆盖 OpenAI、Anthropic、Gemini、Bedrock、Azure 等主流厂商。所有调用均采用 OpenAI 兼容格式，业务代码无需关心底层是哪一个模型，从而降低多厂商接入与切换的工程成本。

两种集成方式

LiteLLM 提供两种集成路径，开发者可按需选择：

• Python SDK：以库的形式直接集成到应用代码中，适合单机脚本、轻量服务或快速原型。
• AI Gateway（Proxy Server）：以集中服务方式自托管部署，为团队或企业提供统一的 LLM 调用入口，便于集中管理密钥、配额与可观测性。

两种方式都通过 OpenAI 兼容的 chat/completions 接口发起调用，通过 model 字段区分具体厂商与模型，例如 openai/gpt-4o 或 anthropic/claude-sonnet-4-20250514。

核心能力

LiteLLM 的关键价值在于屏蔽各厂商 SDK、鉴权、错误格式的差异，并补充企业级能力：

• 统一 API：一套接口覆盖 100+ 模型，避免在多个厂商 SDK 之间反复维护。
• Drop-in 兼容：可在不改动业务代码的前提下切换底层模型，便于 A/B 测试与容灾。
• 企业级特性：虚拟密钥、花费追踪、护栏（guardrails）、负载均衡、管理后台等开箱即用。
• 性能：项目公布的基准显示，在 1k RPS 压力下 P95 延迟约为 8ms。

支持的接口与生态扩展

LiteLLM 覆盖了 LLM 应用中常见的端点，包括 /chat/completions、/responses、/embeddings、/images、/audio、/batches、/rerank、/a2a、/messages 等。

在生态层面，LiteLLM 进一步延伸到 Agent 与工具协议：

• A2A 智能体网关：可作为 Agent-to-Agent（A2A）协议的代理层，兼容 LangGraph、Vertex AI Agent Engine、Azure AI Foundry、Bedrock AgentCore、Pydantic AI 等框架。
• MCP 工具桥接：可将 MCP 服务器以 OpenAI tools 格式注入任意 LLM 调用，也支持在代理层通过 /v1/chat/completions 直接调用 MCP 工具。
• IDE 集成：通过 MCP 配置即可在 Cursor IDE 等编辑器中接入 LiteLLM 网关。

适用场景

对于需要在多个大模型厂商之间灵活调度、或在生产环境中统一管理 API 密钥与调用成本的企业团队，LiteLLM 提供了一条相对成熟的中间层方案。其开源、自托管的特性也便于在私有环境中部署，规避厂商绑定风险。