跳到正文
热点事件持续更新

SGLang披露PD分离部署KV缓存跨请求泄露

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

SGLang团队披露,在PD分离部署中,请求传输中途被中止后,已发出的RDMA写仍会落入被重新分配的槽位,导致另一请求读到他人上下文。该问题由Cloudflare于9月9日通报,涉及其在Workers AI上的GLM-5.3部署;Cloudflare当日已关闭该模型的公开访问。 SGLang称,v0.5.21对Mooncake和NIXL部署默认防护所有失败类型,但该修复未回移到更早的发布分支;MORI部署及带代际标记的ack清理需使用包含#37077合并(2026-10-03,v0.5.22)或之后的构建。

AI 根据报道生成 · 56 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. Hacker News
    SGLang 披露 PD 分离部署中的跨请求 KV cache 泄漏问题

    SGLang 团队披露 PD 分离部署中的跨请求 KV cache 泄漏:请求在传输中途被中止后,已发出的 RDMA 写仍会落入被重新分配的槽位,导致另一请求读到他人上下文。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。