vLLM 为 Kimi K3 构建统一解码路径

vLLM 团队发布技术博客称，其借助智能体辅助开发，为 Kimi K3 在 vLLM 中构建了统一的 CuTe DSL 解码路径，覆盖 attention、MoE 和 8 或 16 卡通信。 该优化面向 NVIDIA Blackwell GPU，适用于 8 或 16 卡、解码批次 1 至 64，以及长上下文下可选的解码上下文并行；K3 的初步硬件验证覆盖 GB300 的 TP8 与 TP16、不同草稿长度的投机解码，以及单个 NVLink 域内的解码上下文并行配置。vLLM 称，这种隔离式优化不涵盖输入准备、采样和 KV 缓存管理带来的开销。 vLLM 还表示，正以类似机制优化 GLM5.3 在低并发场景下的解码延迟。

AI 根据报道生成 · 22 小时前更新