研究：更大的分词器在多 epoch 训练下 regret 更高

一项在 300m 模型上的实验发现，分词器词表越大，多 epoch 训练下的 multi-epoch regret 越高：固定 4096 token 窗口时，regret 从 256 字节词表的接近零升至 128K 词表的约 0.08 比特/字节，512 到 8K 词表处于平缓平台，超过 8K 后每翻一倍 regret 都上涨。