Hacker News· AmSach·· 14 小时前AI 评分58
MAPLE：把 Gemma 4 26B-A4B 剪枝到 4.75GB，在 6GB 笔记本 GPU 上跑到 45.4 TPS
Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
AI 导读
独立研究者 Aman Sachan 发布 MAPLE，通过 llama-imatrix 统计 MoE 专家激活频率与能量，将 Gemma 4 26B-A4B 每层 128 个专家裁到 48 个，模型从 9.92GB 压到 4.75GB（1.48 有效 bits/param）。
来源：Hacker News · github.com