HyperCache 开源分布式 KV-cache 缓存层
热点事件持续更新
HyperCache 开源分布式 KV-cache 缓存层
1 篇报道1 个报道来源52 分钟前更新
先了解这件事
AI 综述
samganyx 开源发布 HyperCache v0.1，这是一个面向多节点 LLM 推理的分布式 KV-cache 管理项目，提供传输量化和相对 RoPE 块复用，定位为挂在现有推理引擎下方的外部缓存层，类似“KV 张量的 memcached”。 项目采用 MIT 许可证，运行需 Python 3.10+ 和 numpy。原生 ibverbs / UCX C++ 绑定及针对 vLLM C++ block manager 的 CUDA stream hooks 计划在 v0.2 提供，v0.1 尚未包含。
AI 根据报道生成 · 43 分钟前更新
最新进展10月23日 10:56
HyperCache 发布分布式 KV-cache 量化与相对 RoPE 复用方案报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- Hacker NewsHyperCache 发布分布式 KV-cache 量化与相对 RoPE 复用方案
HyperCache 发布 v0.1，面向多节点 LLM 推理提供分布式 KV-cache 管理、传输量化和相对 RoPE 块复用，定位为挂在现有推理引擎下方的外部缓存层。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。