跳到正文
Hacker News· hdit·· 17 小时前AI 评分40

逐 token 解析 Prompt Caching:KV Cache 如何跨轮复用

A Token-by-Token Guide to Prompt Caching

AI 导读

一篇逐 token 讲解 Prompt Caching 的技术文章指出,跨轮复用的本质是每层 KV Cache 中已计算的前缀键值不再重算,新 token 仍要正常解码。文章以两层 Transformer 为例说明因果掩码使已有 token 的表示不因追加输入而改变,并介绍 vLLM 按固定大小分块、用链式哈希(每块哈希包含前一块哈希)定位可复用的完整前缀块。

来源:Hacker News · sithankanna.com