详细内容或原文请订阅后点击阅览
分布式机器学习的前5个框架
使用这些框架来优化内存和计算资源，扩展机器学习工作流程，加快流程并降低整体成本。
来源:KDnuggets分布式机器学习（DML）框架使您能够跨多个机器（使用CPU，GPU或TPU）训练机器学习模型，从而大大减少训练时间，同时有效地处理大型工作，否则将不适合记忆。此外，这些框架使您可以处理数据集，调整模型，甚至可以使用分布式计算资源为其服务。
在本文中，我们将回顾五个最受欢迎的分布式机器学习框架，这些框架可以帮助我们扩展机器学习工作流程。每个框架为您的特定项目需求提供不同的解决方案。
1。Pytorch分布式
Pytorch由于其动态计算图，易用性和模块化，因此在机器学习从业人员中非常受欢迎。 Pytorch框架包括Pytorch分布式，该框架有助于跨多个GPU和节点扩展深度学习模型。
pytorch分布式关键功能
- 分布式数据并行性（DDP）：Pytorch的Torch.nn.parallel.distributedDataParallel允许模型通过有效分配数据并有效地同步梯度在多个GPU或节点上进行训练。Torcholchasticand Farter的容忍度。在小型群集和大型超级计算机上，这都是分布式培训的多功能选择。使用：Pytorch的直觉API允许开发人员使用对现有代码的最小更改来扩展其工作流程。
Torch.nn.Parallel.distributedDataParallear