跳到正文
Hacker News· matheus-c-feito·· 3 小时前AI 评分58

低比特 LLM 在 CPU 上的实测:哪些能正确且快速地运行

Low-bit LLMs on CPU: what runs correctly and fast where

AI 导读

Matheus Feitosa 发布低比特(1-bit、三值、2-bit)LLM 在 CPU 上的独立实测报告,在 aarch64(Neoverse-N1)和 x86-64(Intel Xeon,AVX2)上逐项检查输出是否与参考一致、速度如何。

来源:Hacker News · github.com