跳到正文
热点事件持续更新

Mac 本地跑 LLM 计算器发布

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开发者 bagdaerdev 发布一个计算器,用于估算哪台 Mac 能装下哪个 LLM、生成速度多快:用参数量判断权重是否装得进统一内存,用内存带宽除以权重体积估算生成速度。作者称该模型在 M4 与 M5 Pro 两台机器共十次实测上拟合,误差在 4.6% 以内,并指出多数计算器忽略的每 token 固定开销会让小模型预测偏高。 页面称除 M4 和 M5 Pro 外的各行均为计算值而非实测。页面还提供租用 M4 Pro Mac mini(64 GB)的选项,按年付费每月 197 美元、按月付费每月 286 美元,并称约 5 分钟可准备好带 Ollama 和 OpenAI 兼容端点的专用机器。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月17日
  1. Hacker News
    Show HN:哪台 Mac 能跑哪个 LLM,速度多快

    作者发布一个 Mac 本地跑 LLM 的计算器,用参数量算权重是否装得进统一内存,用内存带宽除以权重体积估算生成速度。作者称模型在 M4 与 M5 Pro 两台机器共十次实测上拟合,误差在 4.6% 以内,并指出多数计算器忽略的每 token 固定开销会让小模型预测偏高。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。