Loopers：面向 AI Agent 的开源代理防火墙

Loopers 是一款以「开箱即用、零延迟」为卖点的开源代理防火墙，专门面向 AI Agent 与 LLM 调用场景。它原生支持 OpenAI、Anthropic、Gemini、Groq、Ollama、vLLM 等 14 家厂商共 500+ 模型，同时兼容任何 OpenAI 兼容端点，可以在不改动业务代码的前提下接入现有 Agent 框架。

项目用 Go 编写，基于 httputil.ReverseProxy 与 Redis 实现，所有检查在单次 Redis Lua 事务中完成，能够避免高并发场景下的 TOCTOU 竞态。官方强调其「Fail-Closed」特性：一旦 Redis 或代理本身故障，请求会被立刻阻断而不是放行，从而避免失控 Agent 在几十分钟内烧掉数千美元的 API 账单。

核心能力

策略与身份治理

内嵌 Open Policy Agent（OPA/Rego）本地策略引擎，支持热加载 ABAC 策略，可按团队、环境、模型、工具维度精细控制访问；
为每个代理密钥附加 --agent-name、--owner、--allowed-tools、--allowed-providers、--tags 等元数据，策略评估、OpenTelemetry 与安全事件均可消费这些信息；
支持按密钥独立配置滑动窗口速率限制（rate_limit.requests_per_minute）。

MCP 与 Agent 循环防护

原生支持 Model Context Protocol：提供透明的 JSON-RPC 2.0 代理、按工具粒度的预算限制（例如「Snowflake 查询每次 0.05 美元」）、确定性循环熔断器以及防止横向移动的 Blast Radius 限制；
循环检测引擎 v1.1 采用 Bi-Gram Jaccard 相似度匹配，可识别多态/变形的 Agent 提示，并结合速度限制器与停滞检测器进行 TOCTOU 安全的强制拦截；
在流式 SSE 响应中实时计数 token，超限时立即切断连接。

性能与对比

官方「Episode 1」基准在 1,000 请求洪水测试中给出的数据：

预算泄漏：Loopers 0%（0 美元），LiteLLM 0.17%；
峰值吞吐：4,623 req/s，约为 LiteLLM（176 req/s）的 25 倍；
P99 延迟：240.98 ms，相比 LiteLLM 的 46,812 ms 低约 190 倍；
空闲内存：41.58 MB，比 LiteLLM 的 957.83 MB 轻约 23 倍。

在与 Bifrost、AgentBudget、LiteLLM 的横向对比中，Loopers 自称是唯一同时具备「原子化预调用强制执行、零存储、Agent 循环熔断、MCP 成本化执行、Blast Radius 限制与 Fail-Closed」的产品。需要指出的是，上述基准与对比均由项目方自发布，仍需社区独立复现。

框架适配与部署

项目提供面向 LangChain、LlamaIndex、CrewAI、AutoGen 的 Python SDK 适配器（如 ChatLoopers、LoopersLLM、get_loopers_crewai_llm 等），可自动注入会话 ID 与步骤计数。部署上支持裸金属运行、专用管理端口、TLS 强制与安全 Redis 配置；并通过 OpenTelemetry 输出符合 OWASP Top 10 for LLMs 的安全事件载荷，以及面向欧盟 AI Act 合规设计的采样处理器。

总体来看，Loopers 定位明确——不替代 LiteLLM 这类通用网关，而是聚焦在「AI Agent 失控时立刻切断」这一高风险场景，适合需要把自主 Agent 投入生产、又对成本与安全有强约束的团队。