bf16 权重直连 AdamW 或丢弃小更新

作者 martincsweiss 发布技术分析称，用 bf16 存储权重并直接交给 torch.optim.AdamW 更新时，小于权重自身约 1/512 的更新会被舍入丢弃，学习率因此决定哪些权重能更新。 他给出的应对是：若必须保留 bf16 权重，可用随机舍入，称其能修复被丢弃的更新和权重衰减，但不能解决二阶矩冻结；在 DeepSpeed、FSDP 混合精度、fp32 + autocast 等正确栈上复现 bf16 配方时，不要直接信任其学习率。 上述结论来自一个模型、100 步、三个随机种子的测试，作者建议在自己的模型上验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。