Prefrontal AI 提出 LSA 超长上下文注意力方法

Prefrontal AI 研究团队提出 Latent Sparse Attention（LSA），按相似度对 key 做层次聚类，把注意力计算成本从 O(T²) 降到 O(TlogT)。该团队称，在 10M token 上下文下，LSA 的精度与全注意力相当。 LSA 可通过短蒸馏加入现有模型，也可在新模型中从头训练。团队已将 LSA 集成进 SGLang 并支持上下文并行，提供 H200 和 B300 的 GPU kernel，并公开代码及全部训练、推理细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。