有人提出修复 softmax 与交叉熵数值缺陷

Georgelemental 提出并发布了一套 log-softmax、softmax 与交叉熵的实现，称能修复标准实现中的两个数值 bug。 据其描述，第一个是 Softmax Collapse：当目标 logit 远大于其他 logit 时，目标梯度会被舍入为零，导致梯度不再求和为零；第二个是 Softmax Cancellation：当学生与教师 logit 接近时，会产生非零梯度。 这两项缺陷针对的是标准 softmax、log-softmax 与交叉熵实现；修复效果来自提出者自己的说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。