研究复现质疑自蒸馏提升推理效果

MIT-IBM 计算研究实验室与 MIT CSAIL 的论文复现了 SDPO 和 OPSD 两种自蒸馏方法，对自蒸馏能否提升模型推理能力提出质疑。 研究发现，SDPO 在训练问题上收敛更快，但在未见问题上表现不如 GRPO；OPSD 的增益主要来自教师开启 Qwen3 思考模式，而非参考解。该结论针对这两类自蒸馏方法在相应实验设置下的表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。