跳到正文
Hacker News· Argonautlabs·· 2 小时前AI 评分47

Kimi K3.1 单 GPU 本地运行:解码 2 tokens/s、预填充 40 tokens/s

Kimi K3.1 locally on one GPU

AI 导读

Kimi K3.1 可在单块 GPU 上本地运行,解码速度为 2 tokens/s,预填充速度为 40 tokens/s。相关数据来自 argonautlabs.ai。

来源:Hacker News · news.ycombinator.com