Dan Luu 谈智能体编码：测试流程、LLM 基准与方差

Dan Luu 结合自己重度使用编码智能体的经历，讨论智能体编码中的测试流程、LLM 基准和模型方差问题。他用自建的几个小基准测试 caveman mode 和 GPT-5.4/5.5/5.6、Opus 4.8、Fable 等模型，发现同一任务下不同模型和不同 effort 档位的结果差异很大，同一模型多次运行的波动也足以覆盖模型之间的差距。