NanoGPT训练速度纪录降至39.914秒

Deven Pietrzak 公布 NanoGPT 训练速度新纪录：在 8×H100 上把 124M 参数模型训练到目标验证损失 3.28 的时间降至 39.914 秒，此前纪录为 73.889 秒。他称使用了 ANVIL II 优化器、sampled softmax 和更大的稀疏 n-gram 表。 计时规则为编译与预热在计时开始前完成，训练时间包含最后的平均与同步，验证在训练结束后用完整词表进行。Pietrzak 表示，出于 Hyperstition 的专有原因，除 ANVIL II 外，可扩展至前沿规模的方法已从公开记录中隐去；代码与测量数据在 NanoGPT 提交中。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。