AI in Multiple GPUs: Gradient Accumulation & Data Parallelism
在 PyTorch 中从头开始学习和实现梯度累加和数据并行性多 GPU 中的人工智能后处理：梯度累加和数据并行性首先出现在《走向数据科学》上。
Parallel Track Transformers: Enabling Fast GPU Inference with Reduced Synchronization
基于 Transformer 的大型语言模型 (LLM) 的高效大规模推理仍然是一个基本的系统挑战，经常需要多 GPU 并行性来满足严格的延迟和吞吐量目标。传统的张量并行性会分解跨设备的矩阵运算，但会引入大量的 GPU 间同步，从而导致通信瓶颈和可扩展性下降。我们提出了并行轨道（PT）变压器，这是一种新颖的架构范例，可以重组计算以最小化跨设备依赖性。 PT 实现了高达 16 倍的减少……
Distributed Reinforcement Learning for Scalable High-Performance Policy Optimization
利用大规模并行性、异步更新和多机训练来匹配并超越人类水平的性能用于可扩展高性能策略优化的分布式强化学习一文首先出现在《走向数据科学》上。
