我在单张 GPU 上训练 160M 代码模型，HumanEval 得分 22.56%

作者在单张 GPU 上从零训练了一个 160M 参数的代码模型，在 HumanEval 上取得 22.56% 的分数。他总结出几条经验：实际 MFU 远低于显卡标称值，训练 TPS 可能比初始估算低 30–40%；应从能验证想法的最小规模起步，其首个 1.5B 模型仅训练到 3× Chinchilla 而严重欠训练。