跳到正文
Hacker News· davidetroiani·· 2 小时前AI 评分65

MoEShift 发布:在 Mac 上以更低内存运行 MoE 推理

Show HN: Run faster MoE inference on Mac with less RAM

AI 导读

MoEShift 发布 alpha 版,可在 Apple Silicon Mac 上以最低 10 GB 内存运行 125B 参数的 Qwen 3.8 Flash Next,生成速度最高约 11 tokens/s。

来源:Hacker News · github.com