搜索评测黄金集被指不可靠，提出替代指标

软件工程师 softwaredoug 撰文称，搜索团队常用的 golden set（查询-文档对）评测并不可靠：在 golden set 上的提升并不总能转化为更好的用户体验。他以 Amazon ESCI 和 Wayfair WANDS 数据集为例，指出当语料本身缺乏相关结果时，NDCG 等指标仍可给出 NDCG=1。 为此，他提出以固定满分理想 DCG 计算的 NDCG-m 等替代评估做法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。