Q Labs 研究：千万亿参数 Transformer 的训练处方

Q Labs 发布研究，提出一套面向数据受限场景的缩放律，把唯一 token 数、模型规模、训练轮数和集成成员数一起纳入损失预测，并给出权重衰减随轮数与模型规模增长的幂律处方。按该规律外推到 5T token、10^29 FLOPs，算力最优参数量约为 Chinchilla 处方的 7000 倍，模型需训练多轮；快照集成不增加训练算力，深度集成则在算力相对数据充裕时成为最优选择。