mini-AGI 笔记本 GPU 训练一月基准结果

开发者 volotat 公布 mini-AGI 在单张 8 GB 显存的 RTX 3070 笔记本 GPU 上从零持续训练一个月的基准结果：模型以 1.26B 总参数、约 109M 活跃参数在 enwik9 上取得 1.14 bits/byte，优于 GPT-2 Medium 的 1.17。 volotat 称，训练仍在进行，目前只跑完运行开始时选定训练语料的约 35%（总计约 8GB）；模型从未在 PG19 上训练、也未读过维多利亚时代小说，因此该数据集对其完全属于域外。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。