Nodeox E1 分布式训练开销研究：GPU 到底在等什么

Nodeox E1 用 16 块 A40 训练 ViT-B/16 的相位级记录分析了 GPU 计算之外的训练开销。第 4 轮中两台主机 CPU 编码耗时 17.8 和 18.0 秒，其余主机仅 1.5–2.3 秒，上传本身约 1 秒。协调器改为按需提供整轮模型后，10 月 29 日在单块 MI300X 上的检查中聚合到同步间隔低于 10 秒标准。