Hacker News· jasondavis·· 2 小时前AI 评分64
Mahalanobis Systems 实测模型换代:12 次同厂升级中 3 次让智能体变差
Model is being retired. Are you ready to upgrade?
AI 导读
Mahalanobis Systems 用六个小型智能体做换模型测试,把 Claude Haiku 4.5 换成 Haiku 5.5、GPT-5.4 nano 换成 GPT-6 Luna,12 次同厂升级中有 3 次平均分下降、1 次持平,11 次出现原本答对的用例回退。
来源:Hacker News · mahalsystems.ai