NullPrime 基准测试 LLM 能否承认无法判断

Brian Miedlar 发布 NullPrime 基准：用剔除小素数因子后的整数判断素数，构造模型无法从特征学到的负控制数据集，并在 OSF 预注册 LLM 测试协议（2026-10-17），注册后的改动均记录在协议末尾。 在允许回答“无法判断”时，Haiku、Sol、两个 Gemini 和 gpt-oss 对困难数字有 91–100% 选择弃答，Opus 为 64%，DeepSeek 为 34%，GPT-6 Luna 从不弃答；对简单数字则几乎没有模型弃答。提示中未提及但提供代码工具时，几乎所有模型都使用了工具，正确率为 89–100%。开启推理后，Haiku“答错却确信”的比例从 9% 降至 0%，Luna、Argon 和 DeepSeek 仍为 40–49%。 要在自有模型上运行，需使用 Inspect，工具条件需 Docker，并在 .env 中配置 API 密钥。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。