Hacker News· sulci_cache·· 2 小时前AI 评分58
Sulci 开源语义缓存库:按语义复用 LLM 回答,并能在无匹配时拒答
Show HN: Sulci – a semantic cache that knows when not to answer
AI 导读
Sulci 发布开源 Python 语义缓存库,按语义相似度而非字符串精确匹配复用 LLM 回答,命中时只需本地嵌入向量查询。作者在 MiniLM 嵌入器、5000 条查询语料、阈值 0.85 下测得重复问题命中率 99.9%、无答案时正确拒答率 98.9%、缓存命中 p50 延迟 87.19ms。
来源:Hacker News · github.com