AWS 介绍 Bedrock 上 OpenAI 模型的提示缓存模式

AWS 博客介绍了在 Amazon Bedrock 上为 OpenAI 模型使用提示词缓存的几种做法：隐式缓存、显式断点，以及两者结合，并给出覆盖静态工具与指令、多轮对话历史、会话中途新增工具、子智能体共享前缀和新会话复用缓存键等场景的代码示例。 适用条件包括：可复用前缀需达到 1,024 个 token；缓存前缀最短存活 30 分钟，成功复用会刷新，也可能更久；复用需同一模型、同一 AWS 账户和区域，且存在匹配前缀；缓存写入按正常输入价格的 1.25 倍计费。 作者称，在 GPT-6 Astra 的六轮工作负载中，隐式缓存使输入成本降低约 62%，显式滚动断点降低约 61%。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。