Hacker News· wslh·· 3 小时前AI 评分31
GAAC：面向更快 LLM 推理的无损 KV Cache 压缩
GAAC: Lossless KV Cache Compression for Faster LLM Inference
AI 导读
GAAC 是一种无损 KV Cache 压缩与服务系统，利用指数冗余将 BF16 KV Cache 压缩 1.405-1.407 倍，且保持 KV 值逐位不变。
来源：Hacker News · arxiv.org
GAAC：面向更快 LLM 推理的无损 KV Cache 压缩