Hacker News· simonpure·· 4 小时前AI 评分34
IETF 草案 KVSP：为大模型 KV Cache 定义跨实现存储协议
Draft-li-kvcache-efficient-storage-00
AI 导读
IETF 发布 Internet-Draft，提出基于 HTTP 的 KV Cache Storage Protocol（KVSP），让推理实例、缓存分层与调度器可由不同实现方互通。
来源：Hacker News · datatracker.ietf.org
IETF 草案 KVSP：为大模型 KV Cache 定义跨实现存储协议