蚂蚁与vLLM开源量化推理内核库Humming

蚂蚁集团与 vLLM 社区开源了通用高性能量化推理内核库 Humming，用于量化推理，覆盖多种权重与激活量化组合。 从 vLLM 0.29.0 起，CUDA 安装会把 Humming 作为依赖一并包含，无需单独安装。Humming 支持 Turing 及之后架构的 NVIDIA GPU（SM75 及以上），也支持平头哥真武 810E。 报道称，Rubin 不支持两种隐藏 Tensor Core 格式，因此这些原生计算路径的支持不延伸到 Rubin。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。