SGLang披露PD分离部署KV缓存跨请求泄露
热点事件持续更新
SGLang披露PD分离部署KV缓存跨请求泄露
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
SGLang团队披露,在PD分离部署中,请求传输中途被中止后,已发出的RDMA写仍会落入被重新分配的槽位,导致另一请求读到他人上下文。该问题由Cloudflare于9月9日通报,涉及其在Workers AI上的GLM-5.3部署;Cloudflare当日已关闭该模型的公开访问。 SGLang称,v0.5.21对Mooncake和NIXL部署默认防护所有失败类型,但该修复未回移到更早的发布分支;MORI部署及带代际标记的ack清理需使用包含#37077合并(2026-10-03,v0.5.22)或之后的构建。
AI 根据报道生成 · 56 分钟前更新
最新进展10月27日 07:02
SGLang 披露 PD 分离部署中的跨请求 KV cache 泄漏问题报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- Hacker NewsSGLang 披露 PD 分离部署中的跨请求 KV cache 泄漏问题
SGLang 团队披露 PD 分离部署中的跨请求 KV cache 泄漏:请求在传输中途被中止后,已发出的 RDMA 写仍会落入被重新分配的槽位,导致另一请求读到他人上下文。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。