Blatent 用 LLM 评判修正抽取基准评分
热点事件持续更新
Blatent 用 LLM 评判修正抽取基准评分
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Blatent 在评估 Struct 的精确来源抽取能力时发现，六个评测套件（含 Natural Questions、NewsQA、BioASQ 的 MRQA 改编版）的基准评分存在缺陷，于是改用来源忠实性检查，并借助 OpenAI 的 Astra 模型判断每个答案是否在原始来源语境下正确回答了问题。Blatent 称，人工审阅数千条回答不现实，因此采用这一自动评判方式。 Blatent 同时指出，Astra 可能误解段落、接受缺乏支持的答案或拒绝正确答案，这一局限会影响评判结果的可靠性。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 02:02
如何让有缺陷的 benchmark 变得有用报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- Hacker News如何让有缺陷的 benchmark 变得有用
Blatent 在评估 Struct 的精确来源抽取能力时发现，六个评测套件（含 Natural Questions、NewsQA、BioASQ 的 MRQA 改编版。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。