Hacker News· TokiRecur·· 1 天前AI 评分58
TokiRecur 发布 llama.cpp 启动器，支持 KV cache 复用
TokiRecur – llama.cpp LLM launcher with KV-cache recycling
AI 导读
TokiRecur 是一个面向本地 LLM 推理的 llama.cpp 启动器，在 llama-server 前做精确前缀匹配来复用 KV cache，命中时跳过 prefill。
来源：Hacker News · github.com