跳到正文
Hacker News· jasondavis·· 2 小时前AI 评分64

Mahalanobis Systems 实测模型换代:12 次同厂升级中 3 次让智能体变差

Model is being retired. Are you ready to upgrade?

AI 导读

Mahalanobis Systems 用六个小型智能体做换模型测试,把 Claude Haiku 4.5 换成 Haiku 5.5、GPT-5.4 nano 换成 GPT-6 Luna,12 次同厂升级中有 3 次平均分下降、1 次持平,11 次出现原本答对的用例回退。

来源:Hacker News · mahalsystems.ai