Hacker News· ibobev·· 4 小时前AI 评分58
用「信任但验证」让编码智能体留下可核查的证据文件
'Trust but verify'; or, 'the correctness ratchet'
AI 导读
作者提出「信任但验证」方法:让智能体在无法机械校验的判断上输出证据文件,记录所用输入和理由,再用 CI 做确定性检查,确认输入真实存在。他据此做了 Habeas Codicem 小项目,并在 Amazon 内部依赖分析项目中用确定性检查器验证智能体给出的代码行或 grep 结果,避免智能体编造证据。作者还设想让其他智能体定期复查已提交的理由,形成随时间累积的「正确性棘轮」。
来源:Hacker News · smallcultfollowing.com