Hacker News· hemanth2k·· 3 小时前AI 评分62
Mistrial 发布 LLM 裁判可靠性检测工具，可重跑评测并统计判定翻转
Mistrial – Re run your LLM judge and see how often it flips
AI 导读
Mistrial 是一个开源命令行工具，把已有的 LLM 裁判或评测函数重跑多次，输出自一致率、翻转用例、Cohen's kappa 和 Krippendorff's alpha 等可靠性卡片。
来源：Hacker News · github.com