机构名称：
¥ 1.0
摄入和转换输入数据的b缩合输入管道是训练机学习（ML）模型的重要组成部分。然而，实施有效的输入管道是一项挑战，因为它需要有关并行性，异步和可变性信息的可变性的推理。我们对Google数据中心中超过200万ML职位的分析表明，大量的模型培训工作可能会从更快的输入数据管道中受益。同时，我们的分析表明，大多数作业都不饱和主机硬件，指向基于软件的瓶颈的方向。是由这些发现的动机，我们提出了水管工，这是一种在ML输入管道中找到瓶颈的工具。水管工使用可扩展且可解释的操作分析分析模型来自动调整并行性，预取，并在主机资源约束下进行缓存。在五个代表性的ML管道中，水管工的速度最高为47倍，用于误导的管道。通过自动化缓存，水管工的端到端速度超过50％，与最先进的调谐器相比。
ML云GPU短缺培训：跨区域是答案吗？水管工
主要关键词
相关文件推荐
