Hacker News· aliabd·· 4 小时前AI 评分38
Shotwell-Bench:一个接受多种有效标注方式的标注基准
Shotwell-Bench: An annotation benchmark that accepts valid alternatives
AI 导读
Shotwell-Bench 通过为每个动作边界设定可接受时间范围和可选子边界,解决了现有标注基准只比对单一参考时间线、误判有效标注的问题。GPT-6 Astra 在该基准的分割与描述准确率 F1 上均排名第一。该基准基于 WGO-Bench 扩展,用于评估 VLM 为机器人策略预训练生成第一视角视频语言标注的质量。
来源:Hacker News · shotwell.ai