详细内容或原文请订阅后点击阅览
多 GPU 中的人工智能：了解主机和设备范例
了解 CPU 和 GPU 如何在主机设备范式中交互多 GPU 中的人工智能后：了解主机和设备范式首先出现在《走向数据科学》上。
来源:走向数据科学是有关跨多个 GPU 的分布式 AI 系列的一部分：
简介
本指南解释了 CPU 和独立显卡 (GPU) 如何协同工作的基本概念。这是一个高级介绍，旨在帮助您构建主机设备范式的心理模型。我们将特别关注 NVIDIA GPU，它最常用于 AI 工作负载。
对于集成 GPU，例如 Apple Silicon 芯片中的 GPU，其架构略有不同，本文不会介绍。
总体情况：主机和设备
最需要掌握的概念是Host和Device之间的关系。
您的程序始终在 CPU 上启动。当您希望 GPU 执行任务（例如将两个大矩阵相乘）时，CPU 会将指令和数据发送到 GPU。
CPU-GPU 交互
主机通过排队系统与设备对话。