Hacker News· silicium369·· 3 小时前AI 评分38
Rust 实现的 AVX-512 HNSW 向量检索:SQ8 量化下比 FP32 快 3.5 倍,召回率 99.8%
AVX-512 HNSW in Rust: 3.5x faster than FP32 at 99.8% recall via SQ8
AI 导读
Rust 编写的 HNSW 向量检索引擎 Silicium 在 AMD EPYC 9R14(Zen 4 AVX-512)上,用 INT8 SQ8 图路由加 FP32 精确重排,将主向量内存压缩 4.0 倍,OpenAI-1536D 查询吞吐较 FP32 提升 3.50 倍、召回率最高 1.0000。
来源:Hacker News · github.com