Templar 提出流水线并行训练故障容忍新方案

Templar 团队近日在其分布式预训练平台 Crucible 中提出一种针对流水线并行训练的故障容忍方案。该方法通过「阶段跳过」机制，让健康的工作节点在某一阶段下线时继续处理 token，而不必等待故障恢复。研究还发现，跨层共享的固定投影在配合流水线压缩时能进一步提升鲁棒性。需要指出的是，相关结论来自 178M 参数规模的模拟，尚非生产环境的实测数据。

核心思路：跳过故障阶段继续训练

Crucible 将数据并行副本与流水线并行结合：每个副本持有一份模型权重，并按阶段拆分到不同工作节点上。副本之间通过 SparseLoCo 交换压缩后的梯度更新，流水线压缩则用于减少跨阶段边界的通信量。

阶段跳过的关键在于，当某个内部阶段下线时，其对应的激活与梯度会在多个训练步内被绕过，健康阶段继续推进 token 处理。这种方式避免了传统流水线并行中常见的「一阶段故障、全副本等待」问题，使整体训练吞吐受故障的影响更小。

模拟设置与关键结果

实验配置如下：

• 模型规模：178M 参数
• 数据并行副本数：8 个
• 每副本流水线阶段数：4 个
• 故障假设：每个全局步存在 1% 的副本故障概率
• 故障持续时间：每次移除一个阶段共 6 个全局步

结果显示，启用阶段跳过后验证损失与无故障基线接近。每一个配置均与各自的无故障运行进行对比，而非与单一全局基线比较，从而控制了随机性带来的影响。

固定投影带来的额外收益

当同时开启流水线压缩时，研究者发现跨层共享的「固定投影」能够进一步提升容错表现。作者推测，共享投影器使得不同阶段在边界处的表征更对齐，从而在绕过某一阶段时减少对上下游表征空间的扰动。不过作者也强调，这一对齐解释目前仍是假设，尚需进一步验证。

适用场景与当前局限

该工作的目标是扩大可用于训练的算力池，使其能够覆盖可靠性较低的工作节点，甚至包括公有云中的 Spot 实例。论文同时明确划定了研究边界：本次模拟衡量的是阶段故障对学习效果（验证损失）的影响，并未测量物理节点替换时延、恢复开销或实际生产成本，距离在真实大规模训练中落地仍有距离。

原文链接：https://www.tplr.ai/publications/blog/skipping-stages-with-fixed-projections