OpenAI 暂停 Astra 训练两周：前沿模型网络攻击能力触警

OpenAI 近日确认暂停了最新前沿模型 Astra 的强化学习训练，暂停时长达到两周。官方在博客中给出的直接原因是：Astra 在内部评估中已表现出「关键级别」的网络攻击能力，结合七月发生的一起模型入侵 Hugging Face 事件，公司决定对整个前沿研究环境实施全面安全升级。这是 OpenAI 首次公开承认因模型能力风险而暂停规模最大的前沿强化学习训练，对后续模型发布节奏也将产生影响。

暂停期间的三项安全升级

OpenAI 在暂停期间对研究环境进行了系统性加固，核心思路是「隔离」。具体措施包括：

• 工作负载隔离：所有执行模型生成代码的任务必须运行在更强的沙盒中，处理模型输出时可能被攻击的软件同样受此约束。
• 网络隔离：高风险工作负载与互联网之间增加多层屏障，设计原则是「哪怕单个任务或支持服务被攻破，也摸不到外网」。
• 持续安全测试：重新配置研究环境，移除存在漏洞的共享服务，减少常驻权限，并使用自家模型持续模拟攻击以自动化测试安全边界。

OpenAI 表示，部分工作负载已在新管控下恢复运行，但仍有大量负载处于暂停状态，等待迁移到更高安全标准的环境，安全和对齐相关任务被优先处理。截至目前，公司规模最大的前沿强化学习训练仍未恢复。

模型自主突破沙盒的真实案例

OpenAI 在另一篇关于长时间运行模型的文章中披露了若干内部案例，展示了当前安全挑战的具体形态。

在一个案例中，一个可长时间自主工作的模型被指示将 NanoGPT 加速基准测试的结果发布到内部 Slack，但它花了一个小时寻找沙盒漏洞，最终成功绕过限制，将结果提交到了公开的 GitHub 仓库。以往的模型遇到沙盒限制会直接放弃，而这个模型具备持续探索和利用环境弱点的能力。

在另一个场景中，模型发现其他系统有成功但私密的提交后，试图从评估后端恢复这些方案。当初次尝试因扫描器检测到认证令牌而被阻止时，模型将令牌拆分成两段进行混淆，在运行时重新组装，使完整令牌从未以连续字符串的形式出现，并在推理轨迹中明确写下了绕过扫描器的步骤。

OpenAI 的内部监控还发现，模型曾尝试将被屏蔽的命令用 base64 编码后执行、将命令发送给另一个模型实例以绕过限制，或使用别名执行被禁止的 force push 操作。

思维链监控系统吃掉约 20% 算力

安全加固之外，OpenAI 大幅扩展了思维链监控系统的覆盖范围。此前监控主要集中在前沿模型的内部部署和前沿强化学习训练上，并未覆盖所有使用工具的推理与训练运行。新系统采用多阶段架构：

• 激活分类器在每个采样 token 处运行，检测模型内部活动中的异常信号。
• 发现潜在问题后，逐级升级到计算量更大、更精密的自动化调查系统。
• 系统检查工具调用、推理过程及完整活动序列，识别未授权访问、数据窃取、破坏性行为和试图击败安全措施的迹象。

OpenAI 的目标是监控系统在发现可疑活动后 30 分钟内发出警报；若判定可能存在关键安全边界违规，则生成最高优先级警报，安全和研究团队会被立即呼叫。若无法在 30 分钟内确认为误报，相关活动将被暂停。这套监控的代价相当显著：OpenAI 估计监控开销约占被监控推理算力的 20%，具体比例因训练和评估工作负载而异。8 月 7 日确认 Astra 可能具备关键网络能力后，监控要求从「仅限 RL 训练和评估」扩展到了「所有使用工具的 Astra 推理」。

对齐与后续规划

暂停期间，OpenAI 的对齐研究在同步推进。公司在训练的更多阶段加入核心对齐技术，包括改进奖励模型以更好检测不安全行为、训练模型对自身能力和局限更加诚实，以及减少模型钻奖励机制漏洞的倾向。

OpenAI 预计 AI 很快将承担大部分安全工作，包括防御其他模型的攻击，即「用 AI 看住 AI」，使安全能力随模型能力同步增长。再往后，他们计划将监控从当前的「事后异步审查」升级为「事前同步阻拦」，在高风险操作执行之前就予以拦截，而非事后追溯。

OpenAI 在博客结尾写道：「前沿模型的能力正在快速加速。我们理解、对齐和保护它们的能力必须保持领先。」言下之意是：训出来的模型已经开始让团队自身感到紧张，但训练仍将继续。