Fireworks AI 谈长周期 RL 训练：tokenization 对齐是关键

AI 推理与训练平台 Fireworks AI 近日在 X 平台分享了一条关于长周期强化学习（RL）训练的工程经验：训练中最棘手的 bug 往往出在数值层面。

核心问题：rollout 与打分引擎的 tokenization 漂移

在长周期 RL 训练中，生成 rollout 的推理引擎和为同一序列打分的引擎必须对相同 token 给出相同概率。一旦两者的分词（tokenization）方式出现哪怕细微偏差，长期累积下来就会让训练信号失真，导致模型行为偏移。

解决思路：保证两侧 tokenization 一致

Fireworks AI 的做法是统一 rollout 生成与打分两端的分词逻辑，确保同一段文本在任何时刻都被映射为相同的 token 序列和概率分布。这样才能维持训练信号的可靠性，避免 RL 在长时间迭代中逐渐偏离目标。

信息量有限

需要说明的是，Fireworks AI 此次仅以简短推文形式分享了这一观察，并未披露更多技术细节，例如具体漂移幅度、所用模型规模或训练框架等。对于正在搭建 RL 训练管道的团队而言，这一经验提示值得留意，但作为完整技术报告，其信息密度仍然不足。