Bulwark Gateway：面向 LLM 代理的默认失败关闭安全网关
一款自托管、默认失败关闭的 LLM 代理安全网关，通过认证、输入防护、IOC 比对、工具策略与输出过滤多层机制拦截恶意调…
Bulwark Gateway 是一款面向大语言模型代理的自托管安全网关项目，主打「默认失败关闭」（fail-closed）理念，将用户请求与 LLM 后端隔离，通过认证、输入防护、IOC 检查、工具权限与输出过滤等多层机制拦截潜在恶意调用，避免提示词注入、越狱、编码绕过等攻击直接到达模型或下游工具。
核心定位与工作原理
Bulwark Gateway 部署在用户应用与 LLM 后端（如 OpenAI、Ollama、vLLM、Azure 等）之间，每条请求都需要依次通过身份认证、输入防护、威胁情报比对、工具策略和输出过滤，任何一层检出威胁即立刻阻断。其热点路径完全不使用大模型，仅依赖正则表达式与 Pydantic 校验，p95 延迟开销低于 40 ms，具备确定性与可审计性。
主要能力
- 多租户、多代理路由：按租户/代理维度将请求分发到不同后端。
- 400 余条检测规则：覆盖提示词注入、越狱、编码绕过，支持 ES/ZH/AR 等多语种。
- 威胁情报源：内置 URLhaus、ThreatFox、AlienVault OTX、AbuseIPDB，可选接入 MISP、OpenCTI、VirusTotal、Shodan。
- 流式工具调用缓冲：在响应返回客户端前完成工具调用策略校验。
- 自保护：阻止代理进程修改网关配置。
- 热重载：策略、IOC 与代理注册表无需重启即可更新。
- SIEM 集成：支持导出至 Wazuh、Splunk、Elastic、QRadar、Datadog 等 13 个平台。
- 通知通道：覆盖 Slack、Teams、Discord、PagerDuty、Opsgenie、Telegram、邮件、Google Chat。
- Kubernetes 原生：提供 NetworkPolicies、HPA、PDB、Pod Security 等清单。
- 企业级密钥：兼容 Vault、AWS Secrets Manager、Azure Key Vault、GCP Secret Manager、CyberArk、SealedSecrets。
与同类方案的对比
- LLM Guard、Guardrails AI、NeMo、Rebuff 等 SDK：通常以库形式嵌入应用代码，需逐次显式调用。
- Lakera、Prompt Security 等托管 SaaS：提示词需发送到厂商服务器，延迟受网络往返影响，规则不透明。
Bulwark Gateway 作为自托管反向代理，应用无需修改一行代码，提示词不出网络，热点路径延迟在集群内即可控制在毫秒级，还提供独立的 /v2/scan API 供其他系统调用。项目方坦承该工具并非 Web 应用防火墙（WAF），也不替代模型托管平台：自由文本聊天输入层的 SQLi/XSS 并非其设计目标，这些防护由工具参数层完成；热点路径全部使用正则（约 446 输入 + 150 输出规则），语义级分类器仅作为可选增强层。
组件与部署
网关由以下组件构成：
- Proxy（端口 8080）：拦截所有 LLM 请求的安全热路径。
- Admin Portal（端口 8090）：Web 管理界面，用于配置、监控与审计日志。
- Redis（端口 6379）：限流、状态与会话管理。
- Prometheus（端口 9090）与 Grafana（端口 3000）：指标采集与可视化。
生产环境推荐使用 Helm 在 AKS/EKS/GKE 等托管集群上部署，开发环境可使用 Docker Compose。基础环境要求为 Python 3.11+、Docker 24+、Kubernetes 1.28+、Redis 7+。项目采用 Apache 2.0 许可证，仓库已发布在 Hacker News。