跳到正文
Hacker News· RevoGen·· 3 小时前AI 评分52

论文质疑自蒸馏能否提升推理能力

A critical look at self-distillation for reasoning

AI 导读

MIT-IBM 与 MIT CSAIL 的论文复现了 SDPO 和 OPSD 两种自蒸馏方法,发现 SDPO 在训练问题上更快但在未见问题上不如 GRPO,OPSD 的增益主要来自教师开启 Qwen3 思考模式而非参考解。

来源:Hacker News · jasonkena.github.io