AI 安全智能体治理架构:从能力优先走向可验证优先
分析 AI 安全智能体治理缺位的现状,提出将推理层从模型中剥离的四层架构,以应对合规与可解释性要求。
随着 AI 智能体在安全运营领域大规模落地,分流告警、调查终端、编写检测规则等任务已逐步自动化,但行业在能力建设飞速推进的同时,治理体系却明显滞后。如何持续证明智能体在压力和规模化条件下「做对的事」,仍然是悬而未决的难题。
自主性与治理脱节的现状
当前大多数团队采用分层自治模型:低风险动作自主执行,中风险动作纳入监督,高风险动作需人工审批。这种方式描述了智能体能做什么,却无法说明它是否做得好。例如,一个把每条告警都判定为误报的分类智能体永远不会触发治理关卡,因为它始终运行在被授权的层级内。
与此同时,监管并未停下脚步。ISO 42001、DORA、NIS2 以及欧盟 AI 法案都在趋同地要求组织证明其 AI 系统按预期运行、人能保持有效监督、决策过程可解释。虽然针对自主安全智能体的专门评估标准尚未出台,但方向已经清晰:尽早构建治理基础设施的组织,将在标准落地时占据先发优势。
把推理变成可治理的基础设施
目前,智能体对安全调查的推理方式完全内嵌在底层大模型中。概率模型的天然特性决定了其输出难以保持一致:替换模型,或面对同一事件再次推理,结论都可能变化。围绕特定模型倾向构建的治理框架,会因模型更换或权重漂移而失去可靠性。
推理是智能体行为的决定性因素——它决定告警是否升级、横向移动是否被深入调查、主机是否被隔离。当推理内嵌于模型时,只能依赖模型的通用能力来弥补方法论的缺失。要破解这一困境,需要将推理显式地提取为独立层次,应用于调查工作流:可以是预定义的指令集或知识库,也可以在运行时调用固化升级逻辑的工作流,甚至可以基于证据评估标准与假设生成模式动态调整决策。当推理在多个层次被显式定义后,模型的角色便退化为任务执行者。一个由更小、更便宜的模型执行的方法论,因为推理基于运营上下文而非模型训练数据,往往能跑赢依赖通用模型「猜测」的前沿方案,速度更快、成本更低。
这种分离对治理有三层意义:
- 可预测性:渐进式信任假设今天被测量的系统与明天运行的是同一个系统。若更换模型导致推理模式变化,原有信任证据无法迁移,每次换模型都需回到最高监督状态,并叠加供应商集中度风险。
- 可评估性:若方法论一致性完全依赖当前运行的模型,消融实验、基准测试、质量指标都只能衡量模型本身而非系统本身,每次更换模型都要从零开始重新评估。
- 可解释性:当监管者追问智能体为何升级调查时,答案必须锚定在文档化的流程上。若只能回答「去问模型供应商」,则无法证明可控性。
四层架构分离
要解决上述问题,需要将智能体架构拆分为四层:
- 技能层:定义智能体能做什么,涵盖分流、富化、取证、检测工程等领域,每个技能是包含指令、工具与领域知识的可组合单元。
- 推理层:定义智能体如何思考,包括调查方法论、升级逻辑、证据评估标准与假设生成模式。这一层是显式的、可测试的,与具体模型解耦。当分流决策遵循已定义的方法论时,该方法论可被版本化管理,可针对基准套件测试,可通过与其他重大变更一致的治理框架更新。方法论承载复杂度后,模型无需具备同等智能,这使得在成本可控的模型上运行受治理的智能体成为可能,不必为每项任务都调用最贵的前沿模型。
- 模型层:大模型仍执行自身内嵌的推理,但不同模型的推理模式存在差异——Claude、Gemini、GPT 或开源模型在训练方式与厂商护栏上的区别,都会导致结果偏移。
- 上下文层:任何调查的深度都受限于平台将环境上下文拉入智能体解决方案的能力。完整的上下文——身份、资产、威胁情报、历史行动——是推理得以落地的地基。
结语
AI 安全智能体的治理缺位,本质上是「能力跑在方法论前面」的典型表现。监管框架正从原则层面快速具体化,留给行业自建治理基础设施的窗口并不会太长。将推理显式化、把模型降级为执行器、用四层架构支撑可预测、可评估、可解释的运行体系,是当前最具操作性的解题路径。
