AKM-CLR：为 vLLM 等 LLM 服务增加租户级治理层

AKM-CLR 是一个面向共享 LLM 后端的「前置治理 / 控制层」原型，由来自刚果民主共和国金沙萨的 Irénée Akilimali 发布。它被设计为运行在 vLLM 等 OpenAI 兼容推理服务之上的网关层，决定一个租户请求在被转发、降级回退还是在送达后端推理之前即被拦截。

项目本身并不替代 vLLM 作为推理引擎，而是补充 vLLM 在多租户、LoRA adapter、RAG 来源混部场景下缺少的「准入控制」环节。

核心能力

AKM-CLR 的功能被划分为以下几类，主要以策略文件（YAML）驱动：

• 租户与任务的授权判定
• 域名（domain）与 LoRA adapter 的路由策略
• 跨租户 / 跨域不安全请求的预推理拦截
• 错域或未授权请求的安全回退
• 输出侧的 guard 检查
• 用于审计的 trace 日志
• 治理与用量指标
• 与 vLLM / OpenAI 兼容后端的集成接口

定位上，AKM-CLR 自述为「应用逻辑与模型推理之间的治理空白补位者」，并非新的推理引擎，也不声称提供安全保证。

验证实验数据

作者给出了一组对照与扩展实验。在 H200 上的企业级模拟中：

• 40 个租户、80 个 LoRA adapter、20 个域名
• 共 1,440 个基准用例、1,000 个对抗攻击样本
• wrong-adapter 路由错误率：0.0
• 跨租户泄露：0.0
• 禁止标记泄露：0.0
• 蜜罐（canary）泄露：0.0
• 单卡 H200 最大占用显存约 29.5 GB

在控制对比实验中，使用 Qwen2.5-7B-Instruct 搭配 vLLM 作为后端，AKM-CLR + vLLM 的「治理安全通过率」为 1.0、unsafe 后端调用率为 0.0、trace 可用率 1.0；同条件下「直接 vLLM」与「朴素路由 + vLLM」的治理安全率仅 0.3529，即绝大多数请求无法被前置策略拦截。

产品化进展

后续扩展实验中，AKM-CLR 在三个环境下完成了进一步验证：

• 实验 1（无 GPU 本地）：策略 YAML、租户/域名/adapter/RAG 授权、审计与流量治理全部通过
• 实验 2（RunPod 真机）：在 vLLM + Qwen2.5-1.5B-Instruct 上验证授权请求可达后端、不安全请求在推理前被拦截，治理安全率 100%
• 实验 3（企业部署预览）：提供 Dockerfile、Docker Compose、Prometheus 指标、OpenTelemetry trace、外部策略与密钥分离配置、审计 JSONL 导出、Kubernetes manifest 与 Helm chart 骨架

作者明确表示：「这不构成生产就绪或安全保证，只是验证该原型可以由研究阶段迈向可部署的治理 / 准入控制层」。

局限与下一步

AKM-CLR 在文中自我限定为验证原型（validated prototype），未声明：

• 提供保证性安全
• 在未经加固的情况下具备生产就绪度
• 替代 vLLM 或声称在推理引擎层优于 vLLM
• 覆盖工作区 / 会话 / 缓存 / RAG 上下文边界等更复杂治理问题（实验 5 在文中被截断，仅列出题目）

目前作者正在招募小型「设计伙伴」试点，目标对象包括多租户 LLM 平台、vLLM / OpenAI 兼容推理服务、RAG 或 agent 平台、LoRA adapter 体系，以及受监管的企业 AI 系统。如需进一步信息，可通过邮箱 shukranimungu@gmail.com 与项目联系。