Hacker News· sjdthree·· 3 小时前AI 评分60
我在 64GB Mac mini 上跑通 2.8T 参数的 Kimi-K3
I ran the full 2.8T-parameter Kimi-K3 on a 64GB Mac Mini
AI 导读
作者用 MLX 和 Metal 在 64GB M4 Pro Mac mini 上本地运行完整 Kimi-K3 检查点,2.8 万亿参数、约 1.42 TiB MXFP4 权重,专家权重从外置 SSD 逐个流式加载,最佳配置约 32.4 秒/token,MLX 分配器峰值约 15 GiB。
来源:Hacker News · github.com