Hacker News· wslh·· 3 小时前AI 评分34
UlaCache：面向稀疏 LLM 推理服务的统一逻辑寻址 KV 缓存系统
UlaCache: Unified Logical Addressing for Sparse LLM Serving
AI 导读
UlaCache 是面向稀疏 LLM 推理的 KV 缓存管理系统，用跨 GPU KV 池与可选 CPU 内存的统一逻辑地址空间，让推理引擎的分配与选择独立于物理位置。
来源：Hacker News · arxiv.org
UlaCache：面向稀疏 LLM 推理服务的统一逻辑寻址 KV 缓存系统