Soft-MTP修正多Token预测梯度缺陷
热点事件持续更新
Soft-MTP修正多Token预测梯度缺陷
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究团队称，标准多 Token 预测（MTP）训练的交叉熵梯度中存在低信噪比残差项，会干扰下一 Token 预测与多 Token 学习，且随规模增大而加剧。 为此，团队提出 Soft-MTP：只需对 MTP 做一行代码改动，去掉噪声残差，复用已有的 NTP 和 MTP 交叉熵计算，仅回传 KL 自蒸馏信号。该改动是否在更大规模上带来实际训练收益，报道未给出验证结果。
AI 根据报道生成 · 3 小时前更新
最新进展11月4日 14:46
Soft-MTP：修正多 Token 预测梯度的免费优化方法报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- Hacker NewsSoft-MTP：修正多 Token 预测梯度的免费优化方法
研究团队发现标准多 Token 预测（MTP）训练存在梯度缺陷：MTP 交叉熵梯度中低信噪比的残差项会干扰下一 Token 预测与多 Token 学习，且随规模增大而加剧。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月4日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。