作者实测LLM评审器重复打分波动

作者 yamanahlawat 复盘其 Figma 转 React 流水线中 LLM 评审器对同一份代码渲染评分不一致的问题。他用当时的评审模型 gpt-5.6-terra（中等推理强度）对同一渲染图打分 8 次，分数在 0.82 到 0.93 之间，8 次中有 7 次通过 0.85 阈值。流水线向每个 agent 传入 seed=42，但未设置 temperature。 作者称，此后流水线所有 agent 已改用 gpt-6.1-sol（高推理强度），他又重跑了 8 次打分实验。这些分数仅来自评审器；实验不运行 TypeScript 编译器，ts_compiles 由评审器猜测，passed 中的硬性检查也并非生产环境所用的检查。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。