First Silicon基准：前沿模型芯片bug检出率最高18.6%

umwelt.vision 发布 First Silicon 硬件缺陷检测基准：从开源芯片设计中收集 86 个工程师修复，其中 84 个为真实 bug，隐藏模型所看版本，要求模型写出 3 到 8 条 SystemVerilog 断言，再由 Yosys 和 SymbiYosys 在 buggy 与 fixed 两个版本上做形式化判定。结果显示，前沿模型在真实芯片 bug 上的检出率最高仅 18.6%。 测试中 Claude 模型以只读 Claude Code 子代理运行、无工具，每个提示只跑一次；判定在模块级、限定断言子集内进行，基准尚未经外部验证。86 个 bug 中仅 5 个连同提示全文公开，其余 81 个保持私有，每个 bug 和提示另以加盐 SHA-256 承诺，审计时公开盐值。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。