Mistral Large 4 论文登上 AlphaXiv：注意力架构取舍与长程编码能力

Mistral Large 4 的论文在 AlphaXiv 公开，该模型是 52B 激活参数、1T 总参数的多模态混合专家模型。团队最初用滑动窗口、跨层注意力（CLA）和 YOCO 把 KV 缓存缩减 16 倍，但监督微调评测显示长上下文智能体任务表现弱于预期，于是通过模型手术移除滑动窗口和 CLA，并用 DeepSeek 稀疏注意力（DSA）重新引入稀疏性。