Hacker News· agcatalan·· 2 小时前AI 评分65
Lupine 工程团队将 32B 模型冷启动缩短至 1.1 秒
Cold starting a 32B model in 1.1s with GPU checkpoint/restore
AI 导读
Lupine 工程团队公布 GPU checkpoint/restore 方案,在 vLLM 上冷启动 Qwen3-0.6B 仅需 0.15 秒、Qwen3-32B 仅需 1.1 秒,而传统 GPU 快照启动 0.6B 模型仍需 13 到 17 秒。
来源:Hacker News · numerata.com