Slurm GPU 调度、编排与执行的分工

Slurm 的 GPU 调度、编排与执行是三项不同职责：调度决定任务何时、在何处获得资源，编排管理环境与生命周期，执行则是应用在已分配资源上的计算方式。 文中以 8 卡集群为例：6 张 GPU 空闲，但请求 4 张 Type A 的任务仍在等待，因为只有 2 张匹配该类型。这说明调度按资源类型匹配，而非按空闲卡总数分配。 PyTorch DistributedDataParallel 文档指出，处理速度不均会让快进程等待慢进程，需用户自行平衡负载。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。