Hacker News· rbnafo·· 3 小时前AI 评分58
如何编写自己的 LLM 基准测试
Write your own LLM Benchmarks
AI 导读
作者主张开发者应像维护单元测试一样维护自己的 LLM 基准,而不是只看厂商发布时的通用跑分。文章给出 harness 与测试数据分离的三层结构、尽量用确定性断言替代 LLM 评委、为每个用例加 canary 字符串和 meta.json 元数据,并支持按测试族、用例和模型 ID 单独运行。
来源:Hacker News · anaivebidder.com