跳到正文
Hacker News· Georgelemental·· 2 小时前AI 评分39

修复 softmax 与交叉熵的两个数值 bug

A Fix for Softmax and Cross-Entropy

AI 导读

标准 softmax、log-softmax 与交叉熵实现存在两个数值 bug:Softmax Collapse 会在目标 logit 远大于其他 logit 时把目标梯度舍入为零,导致梯度不再求和为零;Softmax Cancellation 则在学生与教师 logit 接近时产生非零梯度。

来源:Hacker News · jonbarron.info