Modal 提出混合精度混合加速器 RL 采样方法

Modal 团队提出一种强化学习训练方法：用离策略修正让采样器与训练器解耦，采样器可分布在 B200、B300、H100、H200、A100 和 RTX PRO 6000 六类加速器上，各自使用 NVFP4、FP8 或 BF16 精度与独立 kernel，训练器在 B200 上以 BF16 更新。 Modal 称，训练完全异步、不限制陈旧度，每次更新使用 128 条 prompt、每条 8 条轨迹；在训练的大部分时间里，混合采样器每次更新的成本比同构采样器低约 15%。其运行未使用相关稳定化手段仍保持稳定，上下文最长 256K token，平均陈旧度约 4。这些均为 Modal 自述结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。