Hacker News· ChengyouXin·· 3 小时前AI 评分40
CacheVerifier:用 API 校验 LLM 语义缓存命中是否可信
CacheVerifier, check if verifying LLM cache hits helps your traffic
AI 导读
CacheVerifier 推出 Python 客户端,调用托管 API 对语义缓存的候选答案做校验,判断相似度命中的答案能否直接返回,避免“相似但错误”的静默错误。verify() 默认 1s 超时、失败时返回 approved=False 并回退到 LLM 调用;支持 GPTCache 适配器,约 20+ 条反馈即可微调,离线 healthcheck 可本地完成评估。
来源:Hacker News · github.com