跳到正文
Hacker News· eigenBasis·· 2 小时前AI 评分38

JOLT:让教师模型在强化学习中因材施教

A good teacher meets the student where they are

AI 导读

研究者提出 JOLT,在 On-Policy Self-Distillation(OPSD)基础上让同一模型兼任教师与学生两个角色并联合训练,教师借助已验证解答等特权信息给出更贴合学生当前能力的密集反馈。该方法在数学推理、代码和智能体任务上同时提升了模型表现与训练效率,JOLT+ 还额外用结果奖励补充学生的蒸馏信号。

来源:Hacker News · perplexity.ai