Sulci 发布语义缓存 Python 库
热点事件持续更新
Sulci 发布语义缓存 Python 库
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Sulci Labs 发布开源 Python 库 Sulci Cache，按语义相似度而非字符串精确匹配复用 LLM 回答，命中时只需查询本地嵌入向量。作者称在 MiniLM 嵌入器、5000 条查询语料、阈值 0.85 下测得重复问题命中率 99.9%、无答案时正确拒答率 98.9%、缓存命中 p50 延迟 87.19ms。 该库为可直接替换的 Python 库。免费 OSS-Connect 密钥现已开放，同一密钥也可访问托管后端，但每月限 10,000 次托管请求；Pro、Business 付费计划将在正式发布时开放自助注册，此前需从定价页申请。MCP、proxy、LiteLLM 和 LlamaIndex 扩展需 Python 3.10+。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 22:14
Sulci 开源语义缓存库：按语义复用 LLM 回答，并能在无匹配时拒答报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hacker NewsSulci 开源语义缓存库：按语义复用 LLM 回答，并能在无匹配时拒答
Sulci 发布开源 Python 语义缓存库，按语义相似度而非字符串精确匹配复用 LLM 回答，命中时只需本地嵌入向量查询。作者在 MiniLM 嵌入器、5000 条查询语料、阈值 0.85 下测得重复问题命中率 99.9%、无答案时正确拒答率 98.9%、缓存命中 p50 延迟 87.19ms。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。