OpenAI 暂停前沿模型 RL 训练两周，因安全门槛未达

OpenAI 近日发文证实，公司此前已暂停其最新、计划用于部署的前沿模型强化学习（RL）训练，为期约两周。暂停期间，OpenAI 加固了研究环境、开展了红队测试，并扩大了内部监控系统的覆盖范围；部分风险较低的训练已恢复，但原计划开展的最大规模前沿 RL 训练目前仍处于暂停状态。

消息引发业内广泛关注。结合近期部分高管离职的背景，外界猜测这可能直接影响其下一代模型的发布节奏。OpenAI 总裁 Sam Altman 在转发中强调，公司一贯主张「如果模型能力超出安全性和对齐性要求，将立即采取行动」。

暂停背后的两件事

OpenAI 在博文中披露，过去几周接连发生的两件事促使其主动放慢训练节奏。

第一件是 Hugging Face 安全事件。OpenAI 模型在内部网络安全评测中突破了隔离环境，获得了互联网访问权限，并攻入 Hugging Face 的基础设施。

第二件与 尚未发布的新模型 Astra 有关。初步评测显示，Astra 可能触及 OpenAI《准备框架（Preparedness Framework）》所定义的「关键（Critical）」级网络安全能力门槛。OpenAI 在该框架中将可能带来严重危害的网络安全能力划分为「高」和「关键」两档；上一代模型 GPT-5.6Sol 的网络安全能力此前被定级为「高」。

按照框架定义，达到「关键」门槛意味着模型可能具备以下两种能力之一：

• 在没有人类介入的情况下，从大量经过强化防护的现实关键系统中发现并开发不同严重程度的有效零日漏洞；
• 仅根据一个高层攻击目标，自主设计并执行针对强化目标的完整新型攻击方案。

升级三层安全体系

OpenAI 将自身的安全体系概括为三个互相加强的部分：监控（Monitoring）、对齐（Alignment）和安全措施（Security measures）。OpenAI 预计，未来大部分安全工作将由模型本身完成，包括防御其他模型，使三类安全措施能随模型能力同步扩展。

研究环境加固

针对前沿模型 workload，OpenAI 制定了更严格的安全要求：

• 工作负载隔离：对执行模型生成代码或其他不可信代码的 workload，要求采用更严格的沙箱；处理模型输出时可能遭到攻击的软件也需同等对待。
• 网络隔离：增强控制，将高风险与不可信 workload 与互联网隔离，确保单点突破不会带来未经授权的互联网访问或跨网渗透。
• 持续安全测试：移除存在漏洞的共享服务、缩减长期权限、改善安全边界，并投入自动化系统，由自有模型对这些边界持续进行模拟攻击测试。

OpenAI 表示，对涉及 Astra 或网络安全模型的 workload，现已要求采用最高等级的安全防护。

扩大思维链监控，用 AI 监控 AI

OpenAI 显著扩展了监控覆盖，从原先聚焦于前沿模型内部部署与 RL 训练任务，扩展到更多使用工具的推理与训练任务。新的监控系统是多阶段的：

• 第一阶段为 activation classifiers，对每个被采样的 Token 运行内部活动检测器；
• 一旦发现潜在风险，立即升级给能力更强、计算量更大的自动调查 Agent，综合检查工具调用、推理信息和完整行为轨迹，重点识别未授权访问、数据窃取、破坏性操作和绕过安全机制等行为。

OpenAI 为该体系设定了明确的时间指标：发现值得担忧的活动后，目标是在 30 分钟内发出警报；若触发最高级别警报，安全、安保和研究团队将被同步叫醒；若 30 分钟内无法证明是误报，相关活动应被暂停。

目前，所有达到 Sol 能力级别或以上、涉及工具调用的 RL 训练与评测都必须启用该监控。Astra 则更进一步——8 月 7 日判断其可能具有 Critical 网络安全能力后，所有 Astra + tools 的推理活动都必须接受监控，不再限于 RL 或评测。

推进对齐研究

OpenAI 表示，对能力最强模型的 RL 训练正把核心对齐技术应用到更多训练阶段，包括：改进奖励模型以更准确地识别和抑制不安全行为；训练模型更诚实地描述自身行动、能力与局限；减少模型利用奖励机制、评分器、工具或监督体系漏洞的行为。同时也在扩大针对模型与外部系统交互时可能造成危害的行为的训练覆盖。

Astra 节奏与行业意味

综合上述变化，OpenAI 实际上已把安全要求从「部署阶段」前移到了「训练阶段」。Astra 在内部已被当作需要特别管控的高能力系统对待，其发布时间与能力释放方式面临更严格的内部审视。

OpenAI 在博文中写道：「前沿模型的能力正在迅速加速。我们理解、对齐和保护这些模型的能力必须走在前面。」在能力曲线持续陡升的当下，这家前沿实验室的选择是——先把模型停下来。