depyf: Open the Opaque Box of PyTorch Compiler for Machine Learning Researchers
PyTorch \texttt{2.x} 引入了一个旨在加速深度学习程序的编译器。然而，对于机器学习研究人员来说，充分发挥 PyTorch 编译器的潜力可能具有挑战性。编译器在 Python 字节码级别运行，使其看起来像一个不透明的盒子。为了解决这个问题，我们引入了 \texttt{depyf}，这是一个旨在揭开 PyTorch 编译器内部工作原理的工具。 \texttt{depyf} 将 PyTorch 生成的字节码反编译回等效的源代码，并在内存中的代码对象与其磁盘上的源代码之间建立连接...
Optimizing Token Generation in PyTorch Decoder Models
通过 CUDA 流交错隐藏主机设备同步这篇文章《优化 PyTorch 解码器模型中的令牌生成》首先出现在《走向数据科学》上。
AI in Multiple GPUs: Point-to-Point and Collective Operations
学习适用于多 GPU AI 工作负载的 PyTorch 分布式操作多 GPU 中的人工智能后：点对点和集体操作首先出现在《走向数据科学》上。
AI in Multiple GPUs: Gradient Accumulation & Data Parallelism
在 PyTorch 中从头开始学习和实现梯度累加和数据并行性多 GPU 中的人工智能后处理：梯度累加和数据并行性首先出现在《走向数据科学》上。
