Hacker News· daemon1123·· 1 小时前精选AI 评分76
Show HN：在 Mac 上用神经引擎和 2GB 内存跑 Gemma 4 26B，达 100 tok/s
Show HN: Gemma 4 26B at 100 tok/s on a Mac, using the Neural Engine and 2GB RAM
AI 导读
作者发布 ANE Fieldfare 项目，在 16 GB Mac 上以最高 100+ tokens/s 运行 Gemma 4 26B-A4B，进程内存占用低于 2GB。
推荐理由
作者给出了在 16 GB Mac 上跑 Gemma 4 26B 的具体架构取舍与实测数字，可看端侧推理如何借文件缓存和 ANE 省内存。
来源：Hacker News · github.com