跳到正文
Hacker News· byoungyoung·· 3 小时前AI 评分38

KVGuard:面向 LLM 服务系统的 KV Cache 安全检查器

KVGuard: A KV Cache Safety Checker for LLM Serving Systems

AI 导读

KVGuard 是首个针对 LLM 服务系统 KV Cache 管理的系统性内存安全抽象,在 vLLM 和 SGLang 原型上覆盖了两个系统补丁历史中全部 29 个真实 KV Cache 安全 bug,并新发现 8 个此前未知的违规且无误报。

来源:Hacker News · arxiv.org