作者团队提出ES替代PG用于长程Agent后训练

Qiyao Liang等作者发布博客文章，论证进化策略（ES）可作为长程智能体后训练中策略梯度（PG）强化学习的可扩展零阶替代方案，ES不需要credit assignment、critic或masking。 但作者团队称，在20个真实任务上，PG大多领先或持平；当前基准的有效时间跨度较短，PG在这种场景下预计更便宜，因此ES的优势应体现在更长跨度的任务上。作者还说明，这一比较针对可达到的性能而非样本效率，两组运行的样本预算并不匹配。 在TBench对比中，图5使用的Qwen2.5 7B模型无法或极少能解出任何任务，两种方法都得不到奖励信号，因此该对比改用Qwen3.5-4B。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。