Gandalf：延长SSD寿命的KV缓存卸载系统
热点事件持续更新
Gandalf：延长SSD寿命的KV缓存卸载系统
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者 Jiayi Yao 等人提出 Gandalf，一种面向大语言模型 KV 缓存卸载的 SSD 寿命感知系统。它优先把 full-attention 的 KV 缓存写入 SSD，以减少对 SSD 的写入损耗。 据该研究称，在多种负载和硬件容量下，Gandalf 将 SSD 寿命平均延长 7.3 倍，且对缓存命中率的影响可忽略。上述效果为论文作者的说法。
AI 根据报道生成 · 2 小时前更新
最新进展10月31日 23:32
Gandalf：面向 LLM KV Cache 卸载的 SSD 寿命延长方案报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- Hacker NewsGandalf：面向 LLM KV Cache 卸载的 SSD 寿命延长方案
Gandalf 是首个具备 SSD 寿命感知的 KV cache 卸载系统，通过优先将 full-attention 的 KV cache 写入 SSD，在多种负载和硬件容量下将 SSD 寿命平均延长 7.3 倍，且对缓存命中率影响可忽略。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。