Hacker News· davidetroiani·· 2 小时前AI 评分65
MoEShift 发布:在 Mac 上以更低内存运行 MoE 推理
Show HN: Run faster MoE inference on Mac with less RAM
AI 导读
MoEShift 发布 alpha 版,可在 Apple Silicon Mac 上以最低 10 GB 内存运行 125B 参数的 Qwen 3.8 Flash Next,生成速度最高约 11 tokens/s。
来源:Hacker News · github.com