Hacker News· gbaygon·· 2 小时前AI 评分60
提示词缓存实践:同一智能体、同一规则,账单降到约四分之一
Prompt caching: same agent, same rules, about a quarter of the bill
AI 导读
作者用一个食谱智能体演示提示词缓存的四步改法,同一模型、同一套规则、规则文字一字未改,提示词成本降低 73%,整场测试花费不到一美分。四步分别是把每条消息都会变的日期移到末尾、把个人资料移出共享指令、让所有套餐发送相同的工具列表、工具调用只在末尾追加而不重建请求,缓存命中率从 0% 升到 80%,工具调用后的那次请求有 94% 来自缓存。
来源:Hacker News · blog.getwerk.ai