Hacker News· martincsweiss·· 1 小时前精选AI 评分78
bf16 可能正在冻结你的权重更新
Bf16 might be freezing your weight updates
AI 导读
作者发现用 bf16 存储权重并直接交给 torch.optim.AdamW 更新时，小于权重自身约 1/512 的更新会被舍入丢弃，学习率因此决定哪些权重能更新。
推荐理由
作者复现 Quiet-STaR 训练并对比权重差异，指出 bf16 舍入实际充当稀疏更新掩码，为理解低精度微调提供可迁移视角。
来源：Hacker News · lacuna.tiptreesystems.com