Hacker News· samganyx·· 2 小时前AI 评分52
HyperCache 发布分布式 KV-cache 量化与相对 RoPE 复用方案
HyperCache – Distributed KV-cache quantization and relative RoPE reuse
AI 导读
HyperCache 发布 v0.1，面向多节点 LLM 推理提供分布式 KV-cache 管理、传输量化和相对 RoPE 块复用，定位为挂在现有推理引擎下方的外部缓存层。
来源：Hacker News · github.com