跳到正文
Hacker News· agcatalan·· 2 小时前AI 评分65

Lupine 工程团队将 32B 模型冷启动缩短至 1.1 秒

Cold starting a 32B model in 1.1s with GPU checkpoint/restore

AI 导读

Lupine 工程团队公布 GPU checkpoint/restore 方案,在 vLLM 上冷启动 Qwen3-0.6B 仅需 0.15 秒、Qwen3-32B 仅需 1.1 秒,而传统 GPU 快照启动 0.6B 模型仍需 13 到 17 秒。

来源:Hacker News · numerata.com