Hacker News· matt_d·· 7 小时前AI 评分28
为多 GPU 通信引入 API 级内存模型:rocSHMEM 实现最高 2.48 倍加速
A New Lens on Multi-GPU Comms: API-Level Memory Models for Portable Optimization
AI 导读
一篇论文提出为 rocSHMEM、MSCCL++、NCCL/RCCL GIN 等设备端通信 API 定义 API 级内存模型,以明确其内存语义。该模型已在 AMD 开源的 rocSHMEM 中实现,通过支持网络数据的 cache bypass,使集合通信负载最高提速 2.48 倍、计算与通信融合负载最高提速 1.77 倍、专家并行通信负载最高提速 1.18 倍。
来源:Hacker News · arxiv.org