AWS 为 Amazon Nova 上线 SageMaker HyperPod 多轮强化学习训练基础设施

AWS 近日在 Amazon SageMaker HyperPod 上推出面向 Amazon Nova 的多轮强化学习（multi-turn RL）训练基础设施。该方案采用事件驱动架构，用户上传数据至 Amazon S3 后即可自动触发训练任务，适用于需要优化多步决策的企业级智能体场景。

多步智能体的训练挑战

在构建执行多步骤工作流的智能体时，单步动作的质量往往取决于数步之后的结果。AWS 指出，标准 RLHF 仅在孤立情境下优化单条回复，难以教会模型工具编排、错误恢复与多步推理；监督微调（SFT）、检索增强生成（RAG）与继续预训练虽与多轮 RL 互补，但通常无法独立教会这些序列决策能力。多轮 RL 通过对整段交互序列进行优化，让智能体在试错中习得上述能力。

三层基础设施架构

该方案将工作负载拆分至三类计算资源：

• Amazon SageMaker HyperPod（EKS）：承载训练主节点、工作节点以及 vLLM 生成副本，运行于 P5 实例，负责模型推理与基于 GRPO（Group Relative Policy Optimization）的权重更新。
• ECS on Fargate：运行用户的奖励环境，可接入 Wordle 示例或自定义 BYOO（Bring Your Own Orchestrator）环境，模型回复经由 SQS 投递，由环境依据评分规则返回奖励信号。
• Amazon Nova Forge：通过其 SDK 中的代理层在模型与奖励环境之间路由消息，并跨轮次维护对话状态。

AWS Step Functions 在 Amazon EventBridge 捕获 S3 数据落地事件后启动全流程。AWS CDK 一次性部署长生命周期基础资源（VPC、EKS/HyperPod、ECS、S3、IAM 与流水线），每次训练则按需拉起临时资源，避免 GPU 算力在训练间隙空置。

部署前提与成本参考

关键前置条件包括：

• Amazon Nova Forge 订阅，用于访问 SDK 与模型训练 API。
• SageMaker HyperPod 实例配额最少 10 台 ml.p5.48xlarge（生成副本数 4），生产环境建议申请 12–14 台；同时支持 ml.p5en.48xlarge。
• Python 3.12+、AWS CDK v2、AWS CLI v2、Docker，并已完成 cdk bootstrap。

AWS 在博文中给出成本估算：运行期间（10–12 台 ml.p5.48xlarge）每小时费用约为 786–1,180 美元，建议用户在非训练时段销毁资源栈以控制开销。

与全托管模式的互补关系

除上述基础设施方案外，Amazon SageMaker AI 还以全托管、无服务器方式提供多轮 RL 能力，将其纳入 SageMaker 训练任务而无需用户管理底层基础设施。当用户需要完全掌控训练栈、自定义智能体环境或指定特定实例配置时，HyperPod 上的多轮 RL 基础设施则提供对应的算力、编排与奖励路由能力。开发者可根据运维成本与定制需求在两种模式间取舍。