Jane Street 研究：数据序列加权随模型规模呈非单调缩放规律

Jane Street 研究了内部预训练 LLM 与开源 Qwen 2.5（500M 至 72B 参数）上的序列加权缩放规律，发现有效序列权重指数随规模先升后降：小模型忽略权重学习通用模式，中等规模模型按权重学习数据特定模式，大模型又回到与权重无关地学习全部模式。该结果与 MAI-Thinking-1 技术报告中代码与 STEM 数据混合质量排序随规模反转的现象一致。