多Token预测让大语言模型更好更快：13B模型HumanEval多解12%

研究提出用n个独立输出头在共享模型主干上同时预测后续n个token，作为辅助训练任务提升样本效率，且不增加训练时间开销。13B参数模型在HumanEval上多解12%、MBPP上多解17%的题目，生成类基准提升达数个百分点。采用4-token预测的模型推理速度最高提升3倍，即使在大批量下依然有效。