跳到正文
热点事件持续更新

低比特 LLM 在 CPU 上的运行与正确性实测报告

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Matheus Feitosa 发布了一份独立实测报告,在 CPU 上逐项检查 1-bit、三值、2-bit 低比特 LLM 的输出是否与参考一致,并记录运行速度。测试平台仅限 x86-64(带 AVX2 的 Intel Xeon)和 aarch64(Neoverse-N1)。 报告附带的脚本目前只支持 Linux。默认的短检查(run.sh check)在 Kaggle 的 4 vCPU 上约需 30 分钟,在 Colab 免费版 2 vCPU 上约需 1 小时;MODE=quick 会运行全部内容,包括约 40 分钟构建和 3 小时测量。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. Hacker News
    低比特 LLM 在 CPU 上的实测:哪些能正确且快速地运行

    Matheus Feitosa 发布低比特(1-bit、三值、2-bit)LLM 在 CPU 上的独立实测报告,在 aarch64(Neoverse-N1)和 x86-64(Intel Xeon,AVX2)上逐项检查输出是否与参考一致、速度如何。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。