跳到正文
Hacker News· rbnafo·· 3 小时前AI 评分58

如何编写自己的 LLM 基准测试

Write your own LLM Benchmarks

AI 导读

作者主张开发者应像维护单元测试一样维护自己的 LLM 基准,而不是只看厂商发布时的通用跑分。文章给出 harness 与测试数据分离的三层结构、尽量用确定性断言替代 LLM 评委、为每个用例加 canary 字符串和 meta.json 元数据,并支持按测试族、用例和模型 ID 单独运行。

来源:Hacker News · anaivebidder.com