跳到正文
Hacker News· joshcsimmons·· 44 分钟前AI 评分58

oMLX 0.7.4.dev1 发布:用第二台 Mac 加速本地 LLM prefill 最高 2.9 倍

OMLX: Use a second Mac to speed up local LLM prefill 2.9x

AI 导读

oMLX 0.7.4.dev1 开发版发布,新增 Prefill Accelerator,让一台配备更快 GPU 的 Mac 承担每个 prompt 分块的前几层计算。

来源:Hacker News · github.com