跳到正文
Hacker News· malikoyv·· 3 小时前AI 评分18

大家用的是什么推理引擎和 KV offload 引擎,为什么?

What inference engine and KV offload engine do you use and why?

AI 导读

一位正在做推理相关工作的开发者发帖询问,业界实际使用哪种推理引擎和 KV offload 引擎。他提到 vLLM、LMCache 等常见方案,并追问是否还会额外引入 Mooncake,还是直接用 vLLM 原生能力,同时希望讨论各自优劣与选择理由。

来源:Hacker News · news.ycombinator.com