跳到正文
Hacker News· silicium369·· 3 小时前AI 评分38

Rust 实现的 AVX-512 HNSW 向量检索:SQ8 量化下比 FP32 快 3.5 倍,召回率 99.8%

AVX-512 HNSW in Rust: 3.5x faster than FP32 at 99.8% recall via SQ8

AI 导读

Rust 编写的 HNSW 向量检索引擎 Silicium 在 AMD EPYC 9R14(Zen 4 AVX-512)上,用 INT8 SQ8 图路由加 FP32 精确重排,将主向量内存压缩 4.0 倍,OpenAI-1536D 查询吞吐较 FP32 提升 3.50 倍、召回率最高 1.0000。

来源:Hacker News · github.com