提示缓存四步改法实测降本73%

作者 gbaygon 用一个食谱智能体演示提示词缓存的四步改法：把每条消息都会变的日期移到末尾、把个人资料移出共享指令、让所有套餐发送相同的工具列表、工具调用只在末尾追加而不重建请求。在模型和规则文字均未改动的情况下，提示词成本降低 73%，整场测试花费不到一美分，缓存命中率从 0% 升到 80%，工具调用后的那次请求有 94% 来自缓存。 测试在 gpt-6-luna 上关闭推理进行；作者称其他模型需按各自的每百万输入 token 价格换算成本。作者还称，其产品仍在开发中、用户少且消息间隔长，许多调用会遇到缓存过期，持续使用后预计命中率可达 96% 至 98%。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。