Hacker News· matt_d·· 2 小时前AI 评分34
DMA-Latte:将 DMA 卸载扩展到延迟敏感的 ML 通信
DMA-Latte: Expanding the Reach of DMA Offloads to Latency-Bound ML Communication
AI 导读
DMA-Latte 利用 AMD Instinct GPU 此前未被使用的特性,把 DMA 通信卸载从带宽受限场景扩展到 KB 到低 MB 的延迟受限区间。在 all-gather、all-to-all 等 ML 通信集合操作上,相比基线 DMA 卸载最高提速 4.5×(延迟受限区间几何平均 3.2×),并比 RCCL 节省 3-10% 功耗。
来源:Hacker News · arxiv.org