Hacker News· cipernex·· 2 小时前AI 评分18
RYTHUN 发布 200 条 RLHF 无害性偏好数据质量审计,Fleiss' Kappa 0.68
Show HN: A 200-item RLHF quality audit with Fleiss' Kappa (0.68)
AI 导读
RYTHUN 公开一份 200 条 RLHF 无害性偏好数据的质量报告样本,3 名标注员、观察一致率 84%、Fleiss' Kappa 0.68,并附分歧裁决流程。报告只披露方法与脱敏样本,完整数据集需签 NDA;其试点项目承诺 Fleiss' Kappa ≥ 0.80,并提供标注矩阵与计算脚本供客户本地复核。
来源:Hacker News · github.com