开源项目将全量Hacker News压缩至5.34GB离线检索

开发者 dmonterocrespo 开源了 HNTurboVec（MIT 许可），把 2006 至 2026 年的全部 4930 万条 Hacker News 帖子和评论装进一个 5.34 GB 文件，在笔记本 CPU 上同时支持语义检索和关键词检索。 据作者称，所有条目在笔记本集成 GPU（Intel Core Ultra 7 265H，OpenVINO）上一次性完成向量化，约每秒 200 条，全量耗时约 4.5 天；查询时用 int8 版模型在 CPU 上编码查询，先取最近的 80 个候选，再对其中最好的 50 条按解码文本重新编码并重排。 该项目面向个人设备离线使用，代码已公开在 GitHub。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。