Slurm GPU 调度、编排与执行：各层分别负责什么

Slurm GPU 调度、编排与执行是三项不同职责：调度决定任务何时何地获得资源，编排管理环境与生命周期，执行则是应用在已分配资源上的计算方式。文中以 8 卡集群为例：6 张 GPU 空闲，但请求 4 张 Type A 的任务仍等待，因为只有 2 张匹配该类型。PyTorch DistributedDataParallel 文档指出，处理速度不均会让快进程等待慢进程，需用户自行平衡负载。