NVIDIA 三项优化提升 DGX Spark 上 Ling-3.0-flash 推理

NVIDIA 发布技术博客，介绍在单台 DGX Spark 上优化 124B MoE 模型 Ling-3.0-flash 推理的三项技术，称解码吞吐从 36.09 tok/s 提升至 43.94 tok/s，提升 21.7%。三项技术包括用 Humming MXFP4 MoE 内核改进路由专家计算等。 部分优化有使用限制：在线 FP8 LM-head 量化通过 SGLANG_ENABLE_FP8_LM_HEAD=1 启用，与输出 FP32 logits 的 --enable-fp32-lm-head 基线选项互斥；同时启用该量化与 MTP 时，草稿模型须与目标模型共享整个 LM-head 模块，而非仅共享权重张量。Ling-3.0-flash 作为实现示例，代码和部署说明见 Ling cookbook。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。