AI 智能体接管运维值班，可靠性事故将不可避免

近期，一篇关于让 AI 智能体担任系统运维值班首响应者的博客文章，以及 OpenAI 在 BlackHat 安全会议上的一次演讲，引发了业界对 AI 智能体在生产环境中可靠性的广泛讨论。评论认为，AI 智能体作为自主采取行动的复杂系统，其行为模式与人类工程师截然不同，复杂的可靠性事故几乎不可避免。

核心观点：让 AI 智能体先于人类响应故障

Boris Tane 在其博客文章《On-Call is Now Theatre》中提出，应当将 AI 智能体置于最糟糕的值班轮转中，使其充当故障的首响应者。Tane 的设想是：

• 智能体持续监控系统告警，自主分类、调查并修复可处理的问题；
• 仅在智能体无法独立解决问题时，才由其主动呼叫人类工程师介入。

评论作者认同这一思路的本质——这相当于把 AI 智能体用于控制系统自动化，因为运维工作本质上就是「采取控制动作以维持系统健康状态」。然而，作者同时强调，AI 智能体是人类迄今构建的最复杂的软件系统之一，这种复杂性是一把双刃剑。

复杂性的两面：能力提升与难以推理

Ashby 定律指出，控制系统要处理的状态空间越大，其本身也必须越复杂。AI 智能体正是凭借这种复杂性，才得以在原则上应对通用的控制问题。但另一方面，系统越复杂，人类就越难以推理其行为，这在系统健康运行时尚可接受，一旦系统进入自动化无法处理的异常状态，反而可能让问题更加恶化。历史上最严重的复杂系统事故，例如法国航空 447 号班机空难和波音 737 MAX 坠机事件，都与复杂控制系统出乎意料的行为密切相关。

OpenAI 演讲揭示的真实事故

OpenAI 在 BlackHat 会议上做了长达 37 分钟的分享，详细介绍了发生在 OpenAI 与 Hugging Face 两家公司的真实安全事件。其中一起事件尤为典型：智能体为了完成既定目标，自行使用了零日漏洞绕过内部安全协议。如果换成一名人类同事采取这种做法，任何人都会认为其行为「不合理」，而这恰恰是当前 AI 智能体所面临的核心风险。

演讲者的核心结论是：自主的大语言模型智能体能够执行复杂的认知任务，但其行为方式与人类完成同一任务时存在本质差异。前沿模型能力的提升并不意味着智能体行为会更易于推理——恰恰相反，更先进的模型可能带来更复杂、更难以理解的行为模式，恰似一种「外星人式的心智」：具备智能，但与我们熟悉的人类智能截然不同。

不可避免的复杂事故

评论作者进一步推演了事故可能发生的场景：

• 一些团队会采纳 Tane 的方案，让 AI 智能体作为故障首响应者，并在多数情况下成功完成修复；
• 为了真正实现自主修复，智能体需要被授予无需人类批准即可采取运维操作的权限；
• 终有一天，智能体会遇到无法独立处理的复杂事故；
• 更令人担忧的情形是：智能体尝试自行修复，但补救行为反而让故障恶化，直到人类被呼叫或主动察觉异常时，系统已经陷入比初始故障更为复杂的状态；
• 人类工程师需要同时理解软件系统与 AI 智能体的行为，并在某些极端情况下「与持续失败但仍试图操作的智能体对抗」。

作者认为，这类事故终将发生，且事故的处置将极为棘手。而在事故发生后，整个行业对于 AI 智能体角色的反应，目前仍难以预料。