详细内容或原文请订阅后点击阅览
从 LLM 初学者到实践者的 5 门免费课程
精心策划的线性高信号免费资源管道，可帮助您从反向传播基础知识到部署生产级 LLM 应用程序。
来源:KDnuggets互联网上充斥着大型语言模型 (LLM) 教程。大多数都是装扮成综合指南的薄弱介绍，或者是在现代微调工作流程出现之前编写的过时的演练。找到五门课程来形成真正的学习管道——每一门课程都从上一门课程结束的地方开始——比听起来更难。这份清单解决了这个问题。下面的每门课程都是针对线性进展中的特定角色而选择的：了解如何构建语言模型的数学和机制，学习生产系统的结构，深入理论和扩展，开发实践微调技能，最后大规模部署和编排代理。它们共同构成了从初学者到实践者的完整路径。
课程 1：利用 Andrej Karpathy 的神经网络构建基础：从零到英雄
在高效地使用大型语言模型之前，您需要了解它们的实际含义。没有任何课程比 OpenAI 的创始成员、特斯拉前人工智能主管 Andrej Karpathy 所著的《神经网络：从零到英雄》更好、更诚实地做到这一点。本课程将引导您从原始 Python 构建神经网络，无需任何框架快捷方式。首先构建 micrograd，这是一个微型自动微分引擎，这样反向传播就不再是一个抽象概念，而是成为可以逐行跟踪的东西。从那里您可以构建 makemore（一种字符级语言模型），并最终得到一个有效的 GPT-2 规模转换器，包括从头开始构建的字节对编码 (BPE) 分词器。
您将构建什么：
先决条件：扎实的 Python 知识以及对导数的初步熟悉。
格式：免费 YouTube 播放列表（9 个讲座）以及 GitHub 上的配套 Jupyter 笔记本。预计需要 20 到 30 小时的活跃编码时间。
课程 2：通过 FSDL LLM 训练营学习生产架构
一旦您了解了语言模型如何机械地工作，下一个问题就是它们在生产中如何工作。全栈深度学习 (FSDL) 的全栈 LLM 训练营正是解决了这一差距。该训练营录制自 2023 年 4 月在旧金山举行的为期两天的现场活动，并在 YouTube 上免费发布，涵盖了法学硕士周围的工程支架：系统级别的即时工程、LLMOps、评估工具设计、延迟和成本权衡、语言界面的用户体验以及法学硕士作为法官的评估流程。本材料假设您已经可以调用 API 并编写 Python。它的价值在于向您展示这些部分如何连接到可部署的、受监控的应用程序中，包括生产中出现的故障及其原因。
您将学到什么：
格式：免费 YouTube 播放列表以及随附的幻灯片。请注意，这是 2023 年版本；一些 API 参考资料已过时，但架构原则仍然健全。
课程 3：利用斯坦福 CS336 深入理论
你将学习什么：
数据采集、去重、预训练语料库设计
训练优化，包括学习率计划和梯度裁剪
格式：课程网站上公开提供的讲座幻灯片、作业和笔记。这是研究生水平的材料；预计它的要求很高。
注意：CS324（2022 年的前身也是 Percy Liang）涵盖了类似的理论基础，并且仍然可以在 stanford-cs324.github.io 上公开访问。 CS336 是更新且更注重实施的后续版本。
课程 4：通过 Hugging Face LLM 课程培养微调技能
用于共享模型输出的 Gradio 演示
from trl 导入 SFTTrainer
从 peft 导入 LoraConfig
针对吞吐量和延迟进行优化的 vLLM 服务端点
格式：DeepLearning.AI 学习平台测试期间免费。
如何处理此列表
这五门课程清晰地映射到一个进程：
您无需在学习下一课程之前完成每门课程。实用的方法：充分通读 Karpathy（它会奖励耐心），浏览 FSDL 训练营以获取架构直觉，深入了解 CS336 中与您的工作最相关的部分，然后在您有一个要构建的项目时亲自使用 Hugging Face 和 DeepLearning.AI。阅读 LLM 的人与能够使用 LLM 进行构建的人之间的区别几乎总是在于他们运行了多少次训练循环、检查了损失曲线并调试了损坏的微调运行。这五门课程为您提供代表。
十门课程会给你十个起点，但没有明确的路径。根据连接方式选择的五门课程为您提供了一条管道。从 Karpathy 开始了解您正在使用的内容，使用 FSDL 和 CS336 了解它如何融入系统和理论，使用 Hugging Face 培养实践技能，然后使用 DeepLearning.AI 进行部署和编排。最后，您将拥有处理 LLM 项目的词汇、直觉和实践经验，而不仅仅是提示托管 API。
Vinod Chugani 是一位人工智能和数据科学教育家，他为专业人士弥合了新兴人工智能技术与实际应用之间的差距。他的重点领域包括代理人工智能、机器学习应用程序和自动化工作流程。 Vinod 作为技术导师和讲师，通过技能发展和职业转型为数据专业人员提供支持。他将定量金融的分析专业知识融入到他的实践教学方法中。他的内容强调专业人士可以立即应用的可行策略和框架。