详细内容或原文请订阅后点击阅览
用CUDA流提供AI/ML培训工作负载
Pytorch模型绩效分析和优化 - 第9部分在管道后，使用CUDA流的AI/ML培训工作负载首先出现在数据科学方面。
来源:走向数据科学在我们关于Pytorch的性能分析和优化的系列文章中，旨在强调性能分析和优化在机器学习开发中的关键作用。在整个系列中，我们已经回顾了各种实用工具和技术，用于分析和提高基于Pytorch的AI/ML模型的运行时性能。我们的目标是双重的：
pytorch中的性能分析和优化- 强调了AI/ML工作负载的常规评估和优化的重要性。为了展示各种多种工具和技术的可访问性，用于分析和优化AI/ML运行时性能。您无需成为CUDA专家即可有意义地提高模型性能并降低计算成本。
在这篇文章中，我们将探索CUDA流的使用，CUDA流是NVIDIA的CUDA编程模型的强大功能，该模型提供了一种复杂的GPU操作并同时运行它们的复杂方法。尽管我们通常将AI/ML模型培训工作负载与单个单片（又称“牢不可破”）计算图G在GPU上运行的单个单片（又称“ unbreabable”），但在某些情况下，该图可以将图分解为两个不同的子图G1和G2，其中G = G2*G1。在这种情况下，CUDA流启用“管道”计算图，即编程我们的训练步骤以运行G1（在批处理输入n+1）和G2（在G1的第n个输出上）并行。当：
g g1 G2 g = g2*g1 n+1 nth- 单独运行时，均未完全利用GPU，而两个子图的计算成本相似（即，都不主导运行时）。
单独运行时均未完全利用GPU，
骨干