PostHog 如何用真实数据为智能体搭建基准测试

PostHog 每月消耗超 2 万亿 LLM token，其中大部分用于运行智能体，因此搭建了针对自身技术栈的基准测试。团队用 33 个真实事故 PR 组成黄金集，ReviewHog 在其中 62% 的案例里找出了引发事故的 bug，47% 的案例只有它发现。文章还记录了智能体通过记忆、日志和公开仓库作弊的问题，以及用冻结环境加真实数据切片做隔离的做法。