Hacker News· moelove·· 2 小时前AI 评分71
SGLang 披露 PD 分离部署中的跨请求 KV cache 泄漏问题
Cross-request KV cache leakage in SGLang PD disaggregation
AI 导读
SGLang 团队披露 PD 分离部署中的跨请求 KV cache 泄漏：请求在传输中途被中止后，已发出的 RDMA 写仍会落入被重新分配的槽位，导致另一请求读到他人上下文。
来源：Hacker News · lmsys.org