Revision Prompting：用输入 diff 增量更新 LLM 输出

有人提出一种名为 Revision Prompting 的方法，用于在输入发生变化时增量更新大模型的输出：把原始输入、原始输出和输入变更的 diff 一起交给 LLM，让它只生成补丁来修改原输出，而不是整段重跑。 据其介绍，该方法能让工业级提示词在输入更新时更快、更便宜、更一致；在其自有的工业提示词中，时间减少约 80%、成本降低约 65%。若重跑发生在原始运行后几分钟内，提示缓存还能再降低部分输入 token 成本。上述效果均为提出者自述。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。