研究：大词表多轮训练后悔更高

Wenhao Chai 发布的一项实验称，分词器词表越大，多轮训练下的 multi-epoch regret 越高。在 300m 模型上，固定 4096 token 窗口时，regret 从 256 字节词表的接近零升至 128K 词表的约 0.08 比特/字节；512 到 8K 词表处于平缓平台，超过 8K 后每翻一倍 regret 都上涨。 该结论有明确条件：多数实验用 300m 模型在 FineWeb-Edu 上训练 8 个 epoch、采用 MuonH，且只在 Paloma macro bits per byte 上评估；较小的 BPE 词表由 128K 分词器直接截断而来，词表不共享时嵌入参数量也随之缩小。 作者还称，同一设置下两次运行使用相同文档子集，因此词表间低于约 0.02 比特/字节的差距可能来自子集文档构成；单次运行间低于约 0.01 的差距属于噪声。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。