为什么搜索的 golden set 评测并不可靠

搜索团队常用 golden set（查询-文档对）验证检索改进，但 golden set 上的提升并不总能转化为更好的用户体验。文章以 Amazon ESCI 和 Wayfair WANDS 数据集为例，展示 NDCG 等指标在语料本身缺乏相关结果时仍可给出 NDCG=1，并提出以固定满分理想 DCG 计算的 NDCG-m 等替代做法。