跳到正文
Hacker News· matt_d·· 3 小时前AI 评分36

Soft-MTP:修正多 Token 预测梯度的免费优化方法

Multi-Token Prediction Done Right

AI 导读

研究团队发现标准多 Token 预测(MTP)训练存在梯度缺陷:MTP 交叉熵梯度中低信噪比的残差项会干扰下一 Token 预测与多 Token 学习,且随规模增大而加剧。

来源:Hacker News · arxiv.org