RYTHUN公开RLHF标注质量审核样例

RYTHUN 公开一份 200 条 RLHF 无害性偏好数据的标注质量审核报告样本：3 名标注员、观察一致率 84%、Fleiss' Kappa 0.68，并附分歧裁决流程。报告只披露方法与脱敏样本，完整数据集需签 NDA。 RYTHUN 称，其试点项目承诺 Fleiss' Kappa ≥ 0.80，未达标则免费修订至达标，并提供标注矩阵与计算脚本供客户本地复核。其服务条款显示：20–50 条数据的 Smoke Test 免费，交付标注文件与理由；200–500 条试点按标准价五折，交付 CSV、完整 IAA 报告与裁决日志。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。