跳到正文
Hacker News· bagdaerdev·· 3 小时前AI 评分60

Show HN:哪台 Mac 能跑哪个 LLM,速度多快

Show HN: Which Mac runs which LLM, and how fast

AI 导读

作者发布一个 Mac 本地跑 LLM 的计算器,用参数量算权重是否装得进统一内存,用内存带宽除以权重体积估算生成速度。作者称模型在 M4 与 M5 Pro 两台机器共十次实测上拟合,误差在 4.6% 以内,并指出多数计算器忽略的每 token 固定开销会让小模型预测偏高。

来源:Hacker News · macyou.co