Hacker News· gmays·· 2 小时前AI 评分64
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，支持 Turing 之后的 NVIDIA GPU 及平头哥真武 810E，覆盖多种权重与激活量化组合。
来源：Hacker News · vllm.ai
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming