跳到正文
Hacker News· 12390asdjkas·· 2 小时前AI 评分42

Show HN:构建一个万智牌(Magic the Gathering)基准测试

Show HN: Building a Magic the Gathering Benchmark

AI 导读

开发者用开源 Java 规则引擎 Forge 搭建了一套让 LLM 代打万智牌的测试框架,并举办 8 个智能体互相对战的锦标赛来比较模型强弱。首轮测试中 Claude、Kimi、Gemini、Grok 等频繁出现严重失误,排查后发现主因是框架本身:靠字符串匹配解析模型回复、隐藏的 Forge AI 兜底决策、不完整的游戏状态。

来源:Hacker News · folds.ink