Hacker News· joshcsimmons·· 3 小时前AI 评分72
Buoyant 开源 vLLM 推理控制平面 Kinference
Kinference: Open-source inference control plane for vLLM
AI 导读
Buoyant 发布开源项目 Kinference，作为 vLLM 之上的推理控制平面，提供 token 限流、租户用量与成本追踪、KV cache 感知的负载均衡和 YAML 推理策略。
来源：Hacker News · vllm.ai