Hacker News· yclicc·· 3 小时前AI 评分46
NanoGPT 训练速度新纪录:ANVIL II 将训练时间降至 39.914 秒
New NanoGPT speedrun record with ANVIL II
AI 导读
作者 Deven Pietrzak 用 ANVIL II 优化器、sampled softmax 和更大的稀疏 n-gram 表,在 8×H100 上把 124M 参数 NanoGPT 训练到目标验证损失 3.28 的时间从 73.889 秒降至 39.914 秒。
来源:Hacker News · hyperstition.cc