Hacker News· E-Reverance·· 3 小时前AI 评分68
Prefrontal AI 提出 Latent Sparse Attention，在 10M token 上下文下加速注意力计算
Accelerating Attention for Ultra-Long Context
AI 导读
Prefrontal AI 提出 Latent Sparse Attention（LSA），通过按相似度对 key 做层次聚类，把注意力成本从 O(T²) 降到 O(TlogT)，在 10M token 上下文下匹配全注意力的精度。
来源：Hacker News · prefrontal.ai