AWS 在 EKS 上跑通 MoE 强化学习，吞吐量提升 40%

AWS 机器学习团队近日发布技术博客，详细介绍如何在大规模 Mixture-of-Experts（MoE）模型的强化学习训练场景下，利用 Amazon EKS、Elastic Fabric Adapter（EFA）与 DeepEP 协同提升训练效率。团队报告称，相比常规方案，该架构在 MoE 后训练（post-training）环节可实现约 40% 的吞吐量提升。

为什么要专门优化 MoE 强化学习

MoE 已成为将大语言模型扩展到千亿乃至万亿参数的主流架构，通过稀疏激活控制推理成本。但在训练侧，稀疏性并未消除基础设施复杂性——一次完整的 MoE 训练流程通常包含预训练、中训练、监督微调（SFT）以及强化学习（RL）多个阶段。其中，大规模 RL 训练对基础设施提出了格外特殊的要求：它既要承载弹性推理负载，又要支撑强耦合的策略训练，还需要高带宽跨节点通信；奖励模型、验证器与 checkpoint 更新进一步加剧了显存、网络与编排压力。

相比稠密模型，新一代 MoE 架构稀疏度更高，训练瓶颈从算力转向通信。Expert Parallelism（EP）在张量并行、数据并行、流水线并行之外，引入了跨设备的动态 all-to-all token 路由，使得在 RLHF（基于 PPO）或 GRPO 这类紧耦合异步 RL 负载下，异构算力与通信需求必须与推理式 rollout 生成同步平衡。任何一侧的速率失配，都会让硬件空闲或引入训练不稳定。

大规模 RL 训练面临的三大挑战

异步 RL 作业中存在两类需要同时优化的负载：rollout 生成与策略训练。前者是大规模分布式推理，追求聚合吞吐而非首 token 时延或 token 间时延；后者则要求各 worker 严格同步推进，任一延迟抖动或掉队节点都可能拖慢整轮作业甚至触发 NCCL 超时。

• 算力、显存、带宽三类资源必须联合调度：策略训练吃算力，分布式推理要管理 KV-cache 与 token 生成；MoE 层带来的稀疏 all-to-all 通信让带宽与算力的平衡更加关键。
• 通信域切换：训练规模超出单节点后，张量并行、流水线并行的结构化通信仍可借 NVLink 高速互联，但 EP 引入的动态 all-to-all 流量会迅速转向带宽更低、延迟更高的跨节点链路，成为主要瓶颈。

PPO 与 GRPO 虽然算法形态不同（前者依赖 critic 模型估计 value，后者用组内相对奖励回避 critic），但对基础设施的需求高度相似：大规模 rollout 生成、强耦合策略训练、高带宽跨节点通信，三者缺一不可。

方案要点与实测结果

AWS 给出的方案核心思路是：

• 用 Amazon EKS 做统一编排，把 rollout 推理与策略训练两类异构负载跑在同一集群中，由 Kubernetes 负责动态调度与资源平衡；
• 用 EFA 提供低延迟、高带宽的跨节点网络，缓解 EP 通信从 NVLink 域切换到跨节点域后的带宽塌陷；
• 引入 DeepEP 作为面向 EFA 优化的 expert-parallel 通信库，针对 MoE 稀疏 all-to-all 流量做内核与协议层优化。

根据博客披露的数据，该组合在 MoE 后训练场景下相比未启用 DeepEP 的基线实现了约 40% 的吞吐量提升，主要收益来自跨节点 EP 通信效率的改善以及对 rollout–training 循环的整体编排优化。

适用边界与局限

需要指出的是，这一 40% 提升针对的是 AWS 自家 EKS + EFA + DeepEP 栈下的特定 MoE RL 配置，并非通用基准；博客中部分图表描述与配置细节在公开版本中被截断，完整复现所需的集群规模、实例型号与 DeepEP 版本仍需以 AWS 原始文档为准。对于已经在 AWS 上做 MoE RL 训练的团队，该方案提供了可参考的编排与通信优化思路；对于使用其他云或自建集群的团队，则需要评估 DeepEP 与 EFA 绑定的可移植性。