SRPT

mltcp：一种分布式技术，用于近似机器学习的集中式流程计划

1引言有效的流程计划是网络社区中的一个重要且研究的问题[3,5,7,12,13,23,24,27]。使用启发式方法，平衡机制和网络流量的截止日期，在调度流方面有很多工作。传统上，实施流程计划有两种广泛的方法。首先是集中式的AP PROACH，其中中央控制器从所有流中收集网络数字并计算所需的流程度[3，12，13，27，49]。第二个是在分布式的方式借助数据包或开关支持[5,7,23,44]，以分布式的方式进行近似启发式方法，例如最短剩余的处理时间（SRPT）。大多数流程调度方法都集中在传统的数据中心流量上，这是爆发且短[9]。此外，传统数据中心流的到达通常是独立且无法预测的。今天，随着对基于AI的服务的需求不断增长，数据中心中的深度神经网络（DNN）培训和良好的流量已成倍增加。与传统的数据中心工作负载不同，DNN培训和微调作业具有定期的流量模式，在该模式中，每个训练迭代的开始时间都取决于之前迭代的完成，从而对流量到达时间产生依赖性[53，59，64]。我们证明，基于剩余的处理时间（即Pfabric [5]，PDQ [23]和PIAS [7]）的调度技术并不总是最适合安排DNN作业的最佳选择。直觉上，这是因为此类技术根据网络中当前流的状态做出本地调度决策，而无需考虑定期作业的流量到达模式。在DNN工作负载中，这种效果变得不利，其中在一个迭代中完成流量会影响随后迭代的完成时间。最近的研究，例如Muri [64]和Cassini [52，53]，已经证明，对于DNN工作负载，促进交流沟通需求的时间表达到了时间表网络计划。他们将交织的想法定义为一个DNN作业的通信阶段（高网络授权）与计算阶段（低网络