MAPLE 将 Gemma 4 26B-A4B 剪枝至 4.75GB
先了解这件事
独立研究者 Aman Sachan 发布 MAPLE 剪枝流水线，通过分析 MoE 专家的激活频率与能量，把 Gemma 4 26B-A4B 每层 128 个专家裁到 48 个，模型从 9.92GB 压到 4.75GB（1.48 有效 bits/param）。他称该模型在 RTX 4050 6GB 笔记本 GPU 上达到 45.4 TPS，是 PCIe 卸载方案 6.9 TPS 的 6.57 倍。 这个 4.75GB GGUF 已托管在 Hugging Face，但专门针对 Python 编程、算法合成、数据结构和形式化 STEM 推理剪枝，裁掉的是多语言与通用对话专家；Sachan 称保留的 48 个专家仍维持演绎推理与语法生成能力。他同时称该流水线不限于特定领域，可用仓库脚本套用到医学、金融、法律等方向。 上述性能与能力保持均为发布者说法，尚未见独立验证。
AI 根据报道生成 · 29 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hacker NewsMAPLE：将 Gemma 4 26B 压缩至 4.75GB，6GB 笔记本 GPU 达 45 TPS
作者发布 MAPLE 方法，通过激活分析剪掉 Gemma 4 26B 每层 80 个休眠专家，把模型压到 4.75GB（1.48 BPW），在 RTX 4050 6GB 上实现 45.4 TPS，相比 PCIe 卸载方案的 6.9 TPS 提升 6.57 倍。
- Hacker NewsMAPLE：把 Gemma 4 26B-A4B 剪枝到 4.75GB，在 6GB 笔记本 GPU 上跑到 45.4 TPS
独立研究者 Aman Sachan 发布 MAPLE，通过 llama-imatrix 统计 MoE 专家激活频率与能量，将 Gemma 4 26B-A4B 每层 128 个专家裁到 48 个，模型从 9.92GB 压到 4.75GB（1.48 有效 bits/param）。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1011月8日 13:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。