Hacker News· bleonard·· 3 小时前AI 评分36
Induction AI 如何用一次性 dummy tool 故意打破 LLM 缓存以隔离基准测试
The one time we break the LLM cache on purpose
AI 导读
Induction AI 在基准测试中给每个 trial 注入一个名字带 trial id 的 dummy tool，让各 trial 的 prompt 前缀互不匹配，从而避免共享 prompt cache 压低成本测量。
来源：Hacker News · induction.ai