Mac 本地跑 LLM 计算器发布
热点事件持续更新
Mac 本地跑 LLM 计算器发布
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 bagdaerdev 发布一个计算器,用于估算哪台 Mac 能装下哪个 LLM、生成速度多快:用参数量判断权重是否装得进统一内存,用内存带宽除以权重体积估算生成速度。作者称该模型在 M4 与 M5 Pro 两台机器共十次实测上拟合,误差在 4.6% 以内,并指出多数计算器忽略的每 token 固定开销会让小模型预测偏高。 页面称除 M4 和 M5 Pro 外的各行均为计算值而非实测。页面还提供租用 M4 Pro Mac mini(64 GB)的选项,按年付费每月 197 美元、按月付费每月 286 美元,并称约 5 分钟可准备好带 Ollama 和 OpenAI 兼容端点的专用机器。
AI 根据报道生成 · 2 小时前更新
最新进展10月17日 20:15
Show HN:哪台 Mac 能跑哪个 LLM,速度多快报道时间线
沿着报道,了解事件的不同侧面。
10月17日
- Hacker NewsShow HN:哪台 Mac 能跑哪个 LLM,速度多快
作者发布一个 Mac 本地跑 LLM 的计算器,用参数量算权重是否装得进统一内存,用内存带宽除以权重体积估算生成速度。作者称模型在 M4 与 M5 Pro 两台机器共十次实测上拟合,误差在 4.6% 以内,并指出多数计算器忽略的每 token 固定开销会让小模型预测偏高。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。