Hacker News· wslh·· 3 小时前AI 评分24
Gandalf：面向 LLM KV Cache 卸载的 SSD 寿命延长方案
Gandalf: Extending SSD Lifespan for LLM KV Cache Offloading
AI 导读
Gandalf 是首个具备 SSD 寿命感知的 KV cache 卸载系统，通过优先将 full-attention 的 KV cache 写入 SSD，在多种负载和硬件容量下将 SSD 寿命平均延长 7.3 倍，且对缓存命中率影响可忽略。
来源：Hacker News · arxiv.org