Nodeox E1 发布分布式训练开销阶段级研究

Denis Voronko 发布 Nodeox E1 分布式训练开销的阶段级记录研究，用 16 块 A40 训练 ViT-B/16 的相位级数据，分析 GPU 计算之外的训练时间花在哪里。第 4 轮中，两台主机 CPU 编码耗时 17.8 和 18.0 秒，其余主机仅 1.5–2.3 秒，上传本身约 1 秒。 协调器改为按需提供整轮模型后，10 月 29 日在单块 MI300X 上的检查中，聚合到同步的间隔低于 10 秒标准。该研究覆盖 10 月 16–17 日的观察和 10 月 29 日的工程检查，属探索性记录分析，未与标准分布式训练框架对比；AMD 检查只用一块物理 GPU，不能证明多物理 GPU 的扩展性，短时功能检查也不代表长期稳定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。