Hacker News· matt_d·2026-11-04 14:46· 3 小时前AI 评分36Soft-MTP:修正多 Token 预测梯度的免费优化方法Multi-Token Prediction Done RightAI 导读研究团队发现标准多 Token 预测(MTP)训练存在梯度缺陷:MTP 交叉熵梯度中低信噪比的残差项会干扰下一 Token 预测与多 Token 学习,且随规模增大而加剧。来源:Hacker News · arxiv.org推理能力数据与训练论文研究#论文/研究#推理#数据/训练#DeepSeek#Meta#arXiv查看事件全部后续