Zyphra提出分层稀疏注意力ZHA
热点事件持续更新
Zyphra提出分层稀疏注意力ZHA
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zyphra 提出分层稀疏注意力方法 ZHA：为每个查询构建并搜索 KV cache 的压缩树，挑出相关 token，使路由与注意力计算都达到亚二次复杂度。 Zyphra 称，现有预训练模型可通过蒸馏适配 ZHA，原模型参数全程冻结；在 Qwen3.6-35B-A3B 上仅新增 81,920 个可训练参数（约占基座参数量的 0.00024%），用几十亿 token、32K 上下文训练即可获得较强表现，并包含更长上下文的评测。上述效果均为 Zyphra 自述。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 02:33
Zyphra 提出 ZHA 分层注意力：用树状索引实现亚二次复杂度报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- Hacker NewsZyphra 提出 ZHA 分层注意力：用树状索引实现亚二次复杂度
Zyphra 提出分层注意力 ZHA，通过构建并搜索 KV cache 的压缩树来为每个查询挑选相关 token，使路由和注意力计算都达到亚二次复杂度。在 Qwen3.6-35B-A3B 上只需新增 81,920 个可训练参数（约 0.00024%），用几十亿 token、32K 上下文做 KL 蒸馏即可适配。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。