跳到正文
热点事件持续更新

LLM编程语言基准实验结果发布

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Fabio Akita 在 vibe-coding-benchmarks 仓库发布可复现基准实验,测试智能体用不同编程语言把多租户账本引擎从 v1 改到 v2 的表现,每次尝试结果以 JSON 公布,原始轨迹因凭证安全未放入仓库。 实验覆盖 7 种语言、4 个模型配置、2 种条件、2 次重复,共 112 次尝试;每次尝试限时 15 分钟,最多两次 3 分钟续时,4 个模型配置均使用订阅、无付费回退。作者称这是单一任务、每格仅两次重复的小样本,部分模型的 token 覆盖不完整,缺失数据不等于零。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. Hacker News
    用 LLM 写代码时,编程语言的选择真的重要吗

    作者 Fabio Akita 搭建 vibe-coding-benchmarks 仓库,用 7 种语言、4 个模型配置、2 种条件、2 次重复共 112 次尝试,测试智能体把多租户账本引擎从 v1 改到 v2 的表现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。