跳到正文
Hacker News· phirdev·· 2 小时前AI 评分58

llama-sleep:把 llama.cpp 模型切换缩短到两秒内的休眠方案

Swapping LLMs in Under Two Seconds: A Sleep Mode for Llama.cpp

AI 导读

作者发布 MIT 许可的 llama-sleep,用 NVIDIA cuda-checkpoint 把模型的 GPU 显存暂存到主机内存而非停止进程,使 llama-swap 在两个占满 GPU 的 Gemma 4 26B 模型间切换从 10.3 秒降到 2.1 秒,且保留缓存提示词。

来源:Hacker News · zaage.it