Hacker News· Georgelemental·· 2 小时前AI 评分39
修复 softmax 与交叉熵的两个数值 bug
A Fix for Softmax and Cross-Entropy
AI 导读
标准 softmax、log-softmax 与交叉熵实现存在两个数值 bug:Softmax Collapse 会在目标 logit 远大于其他 logit 时把目标梯度舍入为零,导致梯度不再求和为零;Softmax Cancellation 则在学生与教师 logit 接近时产生非零梯度。
来源:Hacker News · jonbarron.info