跳到正文
Hacker News· yclicc·· 3 小时前AI 评分46

NanoGPT 训练速度新纪录:ANVIL II 将训练时间降至 39.914 秒

New NanoGPT speedrun record with ANVIL II

AI 导读

作者 Deven Pietrzak 用 ANVIL II 优化器、sampled softmax 和更大的稀疏 n-gram 表,在 8×H100 上把 124M 参数 NanoGPT 训练到目标验证损失 3.28 的时间从 73.889 秒降至 39.914 秒。

来源:Hacker News · hyperstition.cc