6GB显存笔记本跑通1.1B模型预训练流程

作者 komalbarun 称，他在一台 6GB 显存的游戏笔记本 GPU 上跑通了 1.1B 参数模型的预训练流程：构建模型、执行训练步、保存检查点、终止进程后正确恢复，均能完整运行。单步耗时从 21.81 秒降到 12.335 秒，吞吐从 1579 token/s 提升到 2656 token/s，峰值显存占用 5.24GB。代码以 Apache 2.0 许可发布，自行训练的权重归使用者所有。 作者同时说明，包括他本人在内，尚无人完整跑完一次训练；目前只有约 4800 万参数规模的模型被训练至收敛，1.1B 模型尚未完成收敛验证。

AI 根据报道生成 · 44 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。