promptcheckup：提示词变更显著性检验工具发布

gael55x 发布零依赖 Python 工具 promptcheckup，把新旧提示词跑在同一批用例上，用配对 t 检验和 95% 置信区间给出“更好、更差或还不确定”的结论，并可接入 CI 让变差的 PR 失败。 据其说明，score 模式下 gate 自身不调用模型，checkup、propose、evolve 仍会调用模型以找出失败模式并写提案；gate 默认需要 20 个用例，因此提案需约 40 个用例才能被检验。工具只在改动通过 gate 后写入提示词文件，不会合并、部署或推送。 该工具称可在无 API key 的情况下 30 秒内试用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。