Hacker News· softwaredoug·· 2 小时前AI 评分26
NDCG 被高估了:搜索相关性评估不能只看 NDCG
NDCG Is Overrated (2023)
AI 导读
针对搜索团队过度依赖 NDCG、ERR、mean-average precision 等基于标注判断列表的指标,文章主张改用三步离线评估:先确认改动是否按预期生效,再用 Jaccard index、Rank Biased Overlap 等统计量判断是否只影响目标查询群体,最后估算 A/B 测试中效应量的大小。
来源:Hacker News · softwaredoug.com