巴克莱谈自主 AI 代理部署：可观测性与 kill switch 比模型能力更重要

巴克莱银行首席 AI 工程师 Andy McMahon 近日在接受 The Brave Technologist 播客采访时，罕见地公开分享了这家英国老牌银行如何在高度受监管的环境中准备、测试和部署自主 AI 代理。他反复强调的主题并非模型能力，而是「信心」——即如何确保 AI 代理在生产环境中持续安全地运行，并在必要时被及时叫停。

从能力到信心的重心转移

围绕 agentic AI 的讨论大多集中在推理、规划与自主性上，但 McMahon 关注的却是软件测试领域长期关注的主题：遥测、可观测性、评估、权限、生产控制与软件质量保证。他在播客中列出了将 agent 系统投入生产的三大核心关切，可观测性排在首位。

这一选择并非偶然。几十年来，软件团队一直依赖日志、指标和监控来理解生产系统的行为。McMahon 认为，自主 AI 需要同样的工程纪律，只是深度要大得多——工程师需要捕获 agent 与 agentic 解决方案的遥测指标、日志与链路追踪，否则一旦系统出错，就无法理解 agent 为何做出某个决策，也无法重建失败过程。

这意味着测试的边界正在改变。测试不再以软件上线为终点，生产环境本身成为测试生命周期的一部分，持续生成关于自主系统在真实运行条件下表现的证据。巴克莱去年也曾阐述过类似的工程方向：把测试左移，并在整个工程实践中扩展可观测性，以在软件触达客户之前发现问题。

测试的不只是功能，更是行为

传统软件测试主要验证应用是否完成了设计的功能，而自主系统带来了额外挑战：工程师还需要确信 agent 在条件变化时仍能在可接受范围内运行。在 McMahon 看来，安全不是一个关于 AI 生存风险的抽象讨论，而是一个实际的工程问题——「你如何确保所部署的东西是安全的，并理解它在真实环境中会如何表现？」

他认为 kill switch 不应被视为紧急机制，而应被当作工程设计的组成部分。这扩展了软件质量本身的定义：质量不再仅由功能正确性或性能来衡量，还越来越包括可恢复性、可控性，以及在自主软件行为异常时安全介入的能力。

类似的思路也开始出现在监管层面。英国金融行为监管局（FCA）已明确表态，AI assurance 涵盖的不只是模型本身，还包括部署上下文、治理、评估技术以及输入输出控制。换言之，测试正在变成「整个 AI 系统是否值得信任」的证据，而不仅仅是「算法在隔离环境中表现良好」的证明。

自主必须划定边界

当被问及自主 agent 是否已准备就绪时，McMahon 直言不讳地给出否定回答，并强调真正可行的方案是「有边界的自主」（autonomy within bounds）。在银行业这种环境中，这一区分尤其关键：agent 可以在明确权限与控制框架内行动，但绝不应在无人监督的情况下完全自由运行。

今年早些时候，英国 FCA 已将巴克莱、瑞银、Lloyds 银行集团等机构纳入 AI Live Testing 计划，标志着监管机构的关注点正从模型准确性扩展到生产环境中的治理、监控、人工监督与运维控制。巴克莱的实践或许可以为其他在受监管行业推进 agent 落地的企业提供一份参照。