Hacker News· phirdev·· 2 小时前AI 评分58
llama-sleep:把 llama.cpp 模型切换缩短到两秒内的休眠方案
Swapping LLMs in Under Two Seconds: A Sleep Mode for Llama.cpp
AI 导读
作者发布 MIT 许可的 llama-sleep,用 NVIDIA cuda-checkpoint 把模型的 GPU 显存暂存到主机内存而非停止进程,使 llama-swap 在两个占满 GPU 的 Gemma 4 26B 模型间切换从 10.3 秒降到 2.1 秒,且保留缓存提示词。
来源:Hacker News · zaage.it