Hacker News· AmSach·· 46 分钟前AI 评分58
MAPLE：将 Gemma 4 26B 压缩至 4.75GB，6GB 笔记本 GPU 达 45 TPS
Show HN: Maple – Run Gemma 4 26B on a 6GB Laptop GPU at 45 TPS (Sub-2-BPW)
AI 导读
作者发布 MAPLE 方法，通过激活分析剪掉 Gemma 4 26B 每层 80 个休眠专家，把模型压到 4.75GB（1.48 BPW），在 RTX 4050 6GB 上实现 45.4 TPS，相比 PCIe 卸载方案的 6.9 TPS 提升 6.57 倍。
来源：Hacker News · amsach.github.io