Efficient Metric Collection in PyTorch: Avoiding the Performance Pitfalls of TorchMetrics
指标收集是每个机器学习项目的重要组成部分，使我们能够跟踪模型性能并监控训练进度。理想情况下，指标的收集和计算不应给训练过程带来任何额外开销。然而，就像训练循环的其他组件一样，低效的指标计算可能会带来不必要的开销，增加训练步骤[…]PyTorch 中的高效指标收集：避免 TorchMetrics 的性能陷阱首先出现在 Towards Data Science 上。
Accelerating Mixtral MoE fine-tuning on Amazon SageMaker with QLoRA
在本文中，我们将演示如何通过使用完全托管的环境和 Amazon SageMaker 训练作业来使用 PyTorch 完全分片数据并行 (FSDP) 和量化低秩自适应 (QLoRA) 对 Mixtral 8x7B 模型进行微调，从而解决模型定制复杂、耗时且通常成本高昂的挑战。
Recurrent Drafter for Fast Speculative Decoding in Large Language Models
我们提出了 Recurrent Drafter (ReDrafter)，这是一种先进的推测解码方法，可实现大型语言模型 (LLM) 推理的最先进的加速。性能提升由三个关键方面推动：(1) 利用循环神经网络 (RNN) 作为 LLM 隐藏状态的草稿模型条件，(2) 对波束搜索结果应用动态树注意算法以消除候选序列中的重复前缀，以及 (3) 通过 LLM 中的知识提炼进行训练。ReDrafter 使用 PyTorch 将 MT-Bench 中的 Vicuna 推理速度提高了 3.5 倍……
William Falcon, Founder and CEO of Lightning AI – Interview Series
Lightning AI 是 PyTorch Lightning 的创造者，PyTorch Lightning 是一个用于训练和微调 AI 模型的框架，也是 Lightning AI Studio 的创造者。PyTorch Lightning 最初由 William Falcon 于 2015 年在哥伦比亚大学就读时开发。后来，他在纽约大学和 Facebook AI Research 攻读博士学位期间于 2019 年开源，由 […]The post William Falcon, Founder and CEO of Lightning AI – Interview Series 首次出现在
A Step-by-Step Guide to Build a Graph Learning System for a Movie Recommender
使用 PyTorch Geometric 和 MovieLens DataSet 构建继续阅读 Towards Data Science »
How to Succeed as a Machine Learning Engineer in the Industry
5 条帮助我在 BigTech 不断超越期望的提示您是否想过要成为一名成功的机器学习工程师需要什么？您是否很难确定自己在这个充满活力的领域中的角色？我也有过这样的经历！嗨！我是 Kartik Singhal，Meta 的高级机器学习工程师。凭借在该领域的六年经验，我仍然发现自己每天都在学习。今天，我将分享五条秘诀，这些秘诀帮助我在 BigTech 担任高级机器学习工程师期间获得了“超出预期”的评级。💻 构建基础图片作者，来自 ChatGPT 4o 您需要很好地理解机器学习基础知识，并意识到其在实际应用中的局限性。了解核心概念：掌握监督学习与无监督学习、分类与回归的基础知识，以及深度学习的基础知
快速启动和运行的概述，避免混淆照片由 Pao Dayag 在 Unsplash 上拍摄我们时不时都会考虑是否要尝试新的工具或尝试一个包，而这其中存在一些风险。如果该工具无法满足我的需求，或者需要几天时间才能运行，或者需要我没有的复杂知识，该怎么办？今天，我将分享我自己使用 PyTorch Tabular 启动和运行模型的经验的简单回顾，并提供代码示例，这些示例应该可以帮助其他考虑使用它的用户以最少的麻烦快速上手。这个项目始于一个相当高维的 CatBoost 模型，这是一个具有多类分类结果的监督学习用例。数据集有大约 30 个高度不平衡的类，我将在以后的文章中更详细地描述它们。我想尝试将神经网络
Diffusion Model from Scratch in Pytorch
去噪扩散概率模型 (DDPM) 的实现 MNIST 上的 DDPM 示例 — 作者提供的图片简介一般来说，扩散模型是一种生成式深度学习模型，它从学习到的去噪过程中创建数据。扩散模型有很多种，最流行的通常是文本条件模型，它可以根据提示生成特定的图像。一些扩散模型 (Control-Net) 甚至可以将图像与某些艺术风格融合在一起。下面是一个例子：作者使用经过微调的 MonsterLabs 的 QR Monster V2 提供的图片如果您不知道这幅图像有什么特别之处，请尝试远离屏幕或眯起眼睛来查看图像中隐藏的秘密。扩散模型有许多不同的应用和类型，但在本教程中，我们将构建基础的无条件扩散模型 DDP
Spicing up Ice Hockey with AI: Player Tracking with Computer Vision
使用 PyTorch、计算机视觉技术和卷积神经网络 (CNN)，我开发了一个跟踪球员、球队和基本表现统计数据的模型。如今，我不再像自己想的那样经常打曲棍球，但从小它就成了我的一部分。最近，我有机会在利马举行的第一届冰球锦标赛 (3 对 3) 中帮助裁判桌并记录一些统计数据。这项赛事涉及秘鲁直排轮滑球协会 (APHL) 的非凡努力和友谊联盟的亲切访问。为了增加 AI 元素，我使用 PyTorch、计算机视觉技术和卷积神经网络 (CNN) 构建了一个跟踪球员和球队并收集一些基本表现统计数据的模型。本文旨在成为设计和部署模型的快速指南。虽然该模型仍需要进行一些微调，但我希望它可以帮助任何人了解计算机
Implementing Neural Networks in TensorFlow (and PyTorch) | by Shreya Rao | Jul, 2024
构建神经网络的分步代码指南欢迎阅读我们的深度学习图解系列的实用实施指南。在本系列中，我们将弥合理论与应用之间的差距，将之前文章中探讨的神经网络概念变为现实。深度学习，图解还记得我们讨论过的用于预测冰的简单神经网络吗？帖子在 TensorFlow（和 PyTorch）中实现神经网络 | 作者 Shreya Rao | 2024 年 7 月首次出现在 AI Quantum Intelligence 上。
Implementing Neural Networks in TensorFlow (and PyTorch) | by Shreya Rao | Jul, 2024
构建神经网络的分步代码指南欢迎来到我们的深度学习图解系列的实用实施指南。在本系列中，我们将弥合理论与应用之间的差距，将之前文章中探讨的神经网络概念变为现实。深度学习，图解还记得我们讨论过的用于预测冰的简单神经网络吗？帖子在 TensorFlow（和 PyTorch）中实现神经网络 | 作者 Shreya Rao | 2024 年 7 月首先出现在 AI Quantum Intelligence 上。
Implementing Neural Networks in TensorFlow (and PyTorch)
构建神经网络的分步代码指南继续阅读 Towards Data Science »
The Rise of PyTorch: The Backbone of Modern AI
人工智能 (AI) 彻底改变了行业，推动了医疗保健、金融和交通等各个领域的创新。这些进步的核心是深度学习框架，这些框架支持复杂神经网络的开发。在这些框架中，PyTorch 已成为主导力量。本文深入探讨了为什么 AI 越来越多地建立在 PyTorch 上，探索[…]文章《PyTorch 的崛起：现代 AI 的支柱》首次出现在 happy future AI 上。
Accelerated PyTorch inference with torch.compile on AWS Graviton processors
最初，PyTorch 使用了一种 Eager 模式，即构成模型的每个 PyTorch 操作在达到该模式后都会独立运行。PyTorch 2.0 引入了 torch.compile 来加速 PyTorch 代码，而不是默认的 Eager 模式。与 Eager 模式相比，torch.compile 以最适合的方式将整个模型预编译为单个图形 [...]
AI 和因果关系。因果鹦鹉。因果深度学习。因果代理。GenAI 指南。开源 AI 手册。复合 AI 系统。让我们构建 GPT Tokeniser。PyTorch 中的 Gemma SOTA。
