研究：12次同厂模型升级中3次智能体变差

Mahalanobis Systems 发布六项智能体微基准测试，比较同厂模型换代对智能体表现的影响。测试把 Claude Haiku 4.5 换成 Haiku 5.5、GPT-5.4 nano 换成 GPT-6 Luna，除模型外请求完全相同且关闭推理；12 次同厂升级中 3 次平均分下降、1 次持平，11 次出现原本答对的用例回退。 该公司称，每个智能体仅 20 个用例，结果只反映六个智能体上的整体模式，不能判断单个 2 分差异是否真实；两次升级都是代际跳跃，小版本升级可能表现更好。其诊断工具免费，五分钟出结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。