开发者发布万智牌谜题基准测试

开发者发布了一套万智牌谜题基准测试，用于考察大语言模型的规划能力。作者称共制作了 500 多道谜题，其中一半以上被他视为困难；每道题至少需要 15 个动作，且只有一条解法路径，但允许模型自行选择实现策略。 作者同时说明了测试的边界：Forge 引擎只提供合法动作，因此无法检验模型是否知道并避开非法动作；谜题只覆盖单个回合，不涉及跨回合的长期规划。 此前用 Forge 搭建的智能体对战框架中，Claude、Kimi、Gemini、Grok 等模型频繁出现严重失误；作者排查后认为主因在框架本身，包括靠字符串匹配解析模型回复、隐藏的 Forge AI 兜底决策以及不完整的游戏状态。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。