我如何在 6GB 显存上预训练 1B 参数大模型

作者在 6GB 显存的游戏笔记本上跑通了 1.1B 参数模型的预训练流程，单步耗时从 21.81 秒降到 12.335 秒，吞吐从 1579 token/s 提升到 2656 token/s，峰值显存占用 5.24GB。