Grouped Query Experts（GQE）：在 GQA 自注意力上实现混合专家

研究者提出 Grouped Query Experts（GQE），在 grouped-query attention（GQA）之上叠加混合专家层：每个 GQA 组内由路由器为每个 token 选择 k 个 query-head 专家，KV 头保持稠密不变，从而保留 GQA 的 KV cache 优势、只减少激活的 query-head 计算。