跳到正文
Hacker News· cipernex·· 2 小时前AI 评分18

RYTHUN 发布 200 条 RLHF 无害性偏好数据质量审计,Fleiss' Kappa 0.68

Show HN: A 200-item RLHF quality audit with Fleiss' Kappa (0.68)

AI 导读

RYTHUN 公开一份 200 条 RLHF 无害性偏好数据的质量报告样本,3 名标注员、观察一致率 84%、Fleiss' Kappa 0.68,并附分歧裁决流程。报告只披露方法与脱敏样本,完整数据集需签 NDA;其试点项目承诺 Fleiss' Kappa ≥ 0.80,并提供标注矩阵与计算脚本供客户本地复核。

来源:Hacker News · github.com