研究者提出GQE混合专家注意力层
热点事件持续更新
研究者提出GQE混合专家注意力层
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Vishesh Tripathi 等作者提出 Grouped Query Experts（GQE），在 grouped-query attention（GQA）之上叠加混合专家层。按作者描述，每个 GQA 组内由路由器为每个 token 选择 k 个 query-head 专家，KV 头保持稠密不变，因此保留 GQA 的 KV cache 优势，只减少激活的 query-head 计算。 这是研究者提出的方法设计，报道未给出实验验证或实际效果数据。
AI 根据报道生成 · 3 小时前更新
最新进展11月3日 19:31
Grouped Query Experts（GQE）：在 GQA 自注意力上实现混合专家报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- Hacker NewsGrouped Query Experts（GQE）：在 GQA 自注意力上实现混合专家
研究者提出 Grouped Query Experts（GQE），在 grouped-query attention（GQA）之上叠加混合专家层：每个 GQA 组内由路由器为每个 token 选择 k 个 query-head 专家，KV 头保持稠密不变，从而保留 GQA 的 KV cache 优势、只减少激活的 query-head 计算。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月3日 20:00
- 近 24 小时变化
- –
02.557.510
20:0021:0022:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。