Hacker News· trcytony·· 4 小时前AI 评分46
在单台 NVIDIA DGX Spark 上优化 124B MoE 模型推理
Optimizing 124B MoE inference on a single Nvidia DGX Spark
AI 导读
NVIDIA 在单台 DGX Spark 上通过三项优化加速 Ling-3.0-flash 推理，解码吞吐从 36.09 tok/s 提升至 43.94 tok/s，提升 21.7%。
来源：Hacker News · developer.nvidia.com