Wincon Research 发布 TIS-100 大模型编程基准

Wincon Research 发布 TIS-100 Bench，让 16 个大模型在看不到社区排行榜的条件下解 TIS-100 编程解谜题。据其称，测试共产生 133 个新的帕累托前沿点，其中 18 个直接刷新社区纪录。 每个模型对游戏全部 47 道题及 8 道社区赛题各做一次计分尝试（pass@1），每题限时 10 至 45 分钟，需找到可运行程序并持续改进。一个点须经新开游戏回放和 10 万次通过测试才被计入。 各帕累托点对应的程序以 MIT 许可公开，采用 TIS-100 存档格式，命名与社区排行榜文件一致；强化学习环境与轨迹可向研究团队申请获取。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。