Hacker News· wondersky·· 21 小时前AI 评分32
当 KV Cache 比 GPU 还慢：GLM-5.3 远程 KV 分层的扩展实践
When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers
AI 导读
在 GLM-5.3 的分离式部署中启用 LMCache + Valkey 远程 KV 分层后，16k token 的 p99 首 token 延迟从 3.96 s 升至 17.3 s，远程命中耗时 0.88 s，而重算提示词仅需 0.31 s。
来源：Hacker News · arxiv.org