Hacker News· RevoGen·· 3 小时前AI 评分52
论文质疑自蒸馏能否提升推理能力
A critical look at self-distillation for reasoning
AI 导读
MIT-IBM 与 MIT CSAIL 的论文复现了 SDPO 和 OPSD 两种自蒸馏方法,发现 SDPO 在训练问题上更快但在未见问题上不如 GRPO,OPSD 的增益主要来自教师开启 Qwen3 思考模式而非参考解。
来源:Hacker News · jasonkena.github.io