Mistral Large 4 论文公开注意力架构调整

Mistral 在 AlphaXiv 公开 Mistral Large 4 技术论文。该模型是 52B 激活参数、1T 总参数的多模态混合专家模型。团队最初用滑动窗口、跨层注意力（CLA）和 YOCO 将 KV 缓存缩减 16 倍，但监督微调评测显示长上下文智能体任务表现弱于预期。 为此，团队通过模型手术移除滑动窗口和 CLA，改用 DeepSeek 稀疏注意力（DSA）重新引入稀疏性。索引器先在主模型冻结、全注意力下用约 15.1B 词元预热，蒸馏主模型注意力分布，随后与主模型在稀疏注意力下联合训练 198B 词元。 全规模模型保留了 YOCO：作者称在较大测试规模下，仅手术加中期训练的方案更倾向保留它，但无法针对该测试重跑完整的第二阶段加中期训练流程；较小算力规模下还测试了更广泛移除共享机制（含 YOCO）。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。