Hacker News· malikoyv·· 3 小时前AI 评分18
大家用的是什么推理引擎和 KV offload 引擎,为什么?
What inference engine and KV offload engine do you use and why?
AI 导读
一位正在做推理相关工作的开发者发帖询问,业界实际使用哪种推理引擎和 KV offload 引擎。他提到 vLLM、LMCache 等常见方案,并追问是否还会额外引入 Mooncake,还是直接用 vLLM 原生能力,同时希望讨论各自优劣与选择理由。
来源:Hacker News · news.ycombinator.com