Buoyant 开源 vLLM 推理控制平面 Kinference
热点事件持续更新
Buoyant 开源 vLLM 推理控制平面 Kinference
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Buoyant 发布开源项目 Kinference，作为 vLLM 之上的推理控制平面，用于构建可扩展的推理平台。 Kinference 提供 token 限流、租户用量与成本追踪、KV cache 感知的负载均衡，以及用 YAML 配置的推理策略。Buoyant 称该项目以 Apache v2 协议完全开源，并已在 GitHub 上提供。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 18:21
Buoyant 开源 vLLM 推理控制平面 Kinference报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- Hacker NewsBuoyant 开源 vLLM 推理控制平面 Kinference
Buoyant 发布开源项目 Kinference，作为 vLLM 之上的推理控制平面，提供 token 限流、租户用量与成本追踪、KV cache 感知的负载均衡和 YAML 推理策略。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。