逐 token 解析提示缓存与 KV 缓存复用机制
热点事件持续更新
逐 token 解析提示缓存与 KV 缓存复用机制
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
一篇逐 token 讲解提示缓存的技术文章称，跨轮复用的本质是每层 KV Cache 中已计算的前缀键值不再重算，新 token 仍要正常解码。文章以两层 Transformer 为例说明，因果掩码使已有 token 的表示不因追加输入而改变。 文章介绍，vLLM 按固定大小分块，并用链式哈希（每块哈希包含前一块哈希）定位可复用的完整前缀块；自行运行 vLLM 时，到达同一缓存的请求可共享匹配前缀。文章还称，OpenAI API 的缓存不跨组织共享，组织即开发者或公司的 API 账户；Claude API 的边界是 workspace，默认缓存五分钟，可选一小时。
AI 根据报道生成 · 16 小时前更新
最新进展10月19日 02:35
逐 token 解析 Prompt Caching：KV Cache 如何跨轮复用报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- Hacker News逐 token 解析 Prompt Caching：KV Cache 如何跨轮复用
一篇逐 token 讲解 Prompt Caching 的技术文章指出，跨轮复用的本质是每层 KV Cache 中已计算的前缀键值不再重算，新 token 仍要正常解码。文章以两层 Transformer 为例说明因果掩码使已有 token 的表示不因追加输入而改变，并介绍 vLLM 按固定大小分块、用链式哈希（每块哈希包含前一块哈希）定位可复用的完整前缀块。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1010月19日 03:00
- 近 24 小时变化
- –
02.557.510
03:0006:0009:0012:0015:0018:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。