AI Firewall：面向 LLM 流量的安全网关与反向代理

AI Firewall 是一个面向 LLM API 流量的安全网关与反向代理，部署在应用与大模型 API（OpenAI、Anthropic、Gemini、Ollama、vLLM）之间。它在请求离开本地边界前检查提示词，在响应到达用户前检查模型输出，旨在为大模型应用提供企业级安全与合规能力。

核心功能

• DLP 与敏感信息脱敏：自动识别并屏蔽 AWS 密钥、API token、JWT、私钥、SSN、信用卡号、邮箱与电话等。
• 提示注入与越狱过滤：检测角色覆盖指令、系统提示词外泄尝试、Markdown 像素外泄、零宽字符隐写等攻击模式。
• 欧盟 AI Act 合规打标：根据欧盟 AI 法案将每条请求分类为第 5 条禁止类、第 III 附件高风险类、第 50 条透明度类或最低风险类，并写入持久化审计日志。
• 流式响应拦截：Go 边缘代理可在 SSE 流式响应中执行脱敏，并能处理跨分块边界被拆分的密钥片段，作者以单元测试覆盖该场景。

架构与组件

项目由两个相互独立的进程组成：

• Go 边缘代理（cmd/proxy）：低延迟数据通路组件，使用 Aho-Corasick 自动机进行攻击短语匹配，使用 RE2 进行密钥正则匹配，API key 采用 SHA-256 哈希并以常量时间比较进行鉴权。
• Node 网关 + 仪表盘：基于 React 19 与 Tailwind 的管理平面，提供多供应商转发、文件持久化、API key 管理、实时基准测试、审计 / SOC 视图与流式可视化器等。

二者尚未完全打通，将仪表盘的规则存储同步至 Go 代理被列入后续路线图。

当前实现状态

作者在仓库中明确标注哪些是「真实可用」、哪些尚待开发：

• 已完成：TypeScript 网关、Go 边缘代理（编译通过、go vet 干净、带单元测试）、React 仪表盘、基于 30 例标注语料（含改写负样本）的运行时基准（precision / recall / F1 / 延迟均实时测量，无预录数据）。
• 未实现（路线图中）：基于 ONNX Transformer 的改写 / 多语攻击分类器（计划使用微调后的 DeBERTa-v3，通过 onnxruntime-node 集成）、分布式部署、速率限制、SIEM 导出、PostgreSQL 存储。

作者直言当前检测层为确定性方案（关键词自动机 + 正则），在已知模式上快速且精确，但对改写或多语攻击结构性薄弱，并刻意让基准页面把这一差距暴露出来。

许可证

项目采用 Business Source License 1.1（BUSL-1.1）：源代码可用，非生产环境与日均检查请求不超过 10,000 次的生产使用免费；若将软件作为竞品托管 / 托管服务对外提供，则需商业许可。2030-07-23 之后代码自动转换为 Apache 2.0。作者在文末提醒发布前需补全 LICENSE 中的许可方信息，并经 IP 律师审核。