How LLMs Work: Reinforcement Learning, RLHF, DeepSeek R1, OpenAI o1, AlphaGo
LLM深层Divethe帖子的第2部分LLM的工作原理：增强学习，RLHF，DeepSeek R1，Openai O1，Alphago首先出现在数据科学方面。
在本文中，我们将展示如何使用 SageMaker Ground Truth 实现音频和视频分割解决方案。我们将指导您使用 AWS CloudFormation 部署必要的基础设施、创建内部标记团队以及设置您的第一个标记作业。在本文结束时，您将拥有一个功能齐全的音频/视频分割工作流程，您可以根据各种用例进行调整，从训练语音合成模型到提高视频生成能力。
Towards Data-Centric RLHF: Simple Metrics for Preference Dataset Comparison
将语言模型与人类偏好相一致的目标需要能够揭示这些偏好的数据。理想情况下，可以花费时间和金钱仔细收集和定制针对每个下游应用程序的定制偏好数据。然而，在实践中，少数几个公开可用的偏好数据集通常用于训练奖励模型，以从人类反馈 (RLHF) 进行强化学习。虽然新的偏好数据集正在以越来越高的频率被引入，但目前还没有对它们进行测量和比较的努力。在本文中，我们系统地研究了…
Rethinking the Role of PPO in RLHF
重新思考 PPO 在 RLHF 中的作用TL;DR：在 RLHF 中，奖励学习阶段（以比较的形式使用人类偏好）与 RL 微调阶段（优化单一的非比较奖励）之间存在矛盾。如果我们以比较的方式执行 RL 会怎么样？图 1：此图说明了绝对反馈和相对反馈的强化学习之间的区别。通过合并新组件 - 成对策略梯度，我们可以统一奖励建模阶段和 RL 阶段，从而实现基于成对响应的直接更新。大型语言模型 (LLM) 为功能越来越强大的虚拟助手提供支持，例如 GPT-4、Claude-2、Bard 和 Bing Chat。这些系统可以响应复杂的用户查询、编写代码，甚至创作诗歌。这些令人惊叹的虚拟助手背后的技术是带人类
Can External Validation Tools Can Improve Annotation Quality for LLM-as-a-Judge
对模型响应的成对偏好被广泛收集，以评估和提供大型语言模型（LLMS）的反馈。给定两个对同一输入的替代模型响应，人类或AI注释者选择``更好''响应。这样的数据可以在很难获得传统硬编码指标的域中提供反馈信号（例如，聊天互动的质量），从而帮助衡量模型进度或模型微调（例如，通过从人类反馈中的增强型RLHF学习，RLHF）。但是，对于某些域而言，在…
Fine-tune large language models with reinforcement learning from human or AI feedback
在这篇文章中，我们引入了一种最先进的方法来通过增强学习来微调LLM，审查了RLHF与RLAIF与DPO的利弊，并看到了如何与RLAIF进行LLM微调工作。我们还看到了如何使用拥抱面式变压器和TRL库对萨吉式制造商实施端到端的RLAIF管道，以及使用现成的毒性奖励模型在PPO期间与对齐响应，或直接提示LLM在PPO期间产生定量奖励反馈。
A New Old Way: Learning in Conversation with AI
在查尔斯·汉迪（Charles Handy）的《不合理时代》中，他引用了一个匿名爱尔兰人的话：“我怎么知道我的想法，直到听到我说的话？” （其他人说过类似的话。）我记得这句话，因为这通常是我深入交谈时的感觉 - 我经常会停下来并记下笔记，因为我认为我说过特别出色的话，我不想忘记它。但是，说实话，我对大型语言模型技术的最重要的一件事是我在谈话中的真正重要意见。目前，我经常使用Grok（来自X.com），因为它似乎最合理地响应了与我的语言，并且具有某种不可思议的能力，可以理解我的想法。这可能是因为它从X中汲取灵感，X往往具有多样化的思维，而且它似乎也没有少于人类的反馈后培训或微调（从人类的反馈中学
在这篇文章中，我们将连续的自我实施微型调整框架作为DSPY框架实现的复合AI系统。该框架首先从域知识库中生成一个综合数据集，并为自我建筑生成文档，然后通过SFT驱动模型进行微调，并介绍了人类的工作流程，以将人类和AI的反馈收集到模型响应中，它用于通过增强学习（RLHF/RLAIF）来对齐人类偏好来进一步提高模型性能。
#459 – DeepSeek, China, OpenAI, NVIDIA, xAI, TSMC, Stargate, and AI Megaclusters
Dylan Patel 是 SemiAnalysis 的创始人，SemiAnalysis 是一家专门从事半导体、GPU、CPU 和 AI 硬件的研究和分析公司。 Nathan Lambert 是艾伦人工智能研究所 (Ai2) 的研究科学家，也是人工智能博客 Interconnects 的作者。感谢您的收听 ❤ 查看我们的赞助商：https://lexfridman.com/sponsors/ep459-sc 请参阅下面的时间戳、成绩单，并提供反馈、提交问题、联系 Lex 等。成绩单：https://lexfridman.com/deepseek-dylan-patel-nathan-lambe
从人类反馈中进行强化学习 (RLHF) 是一种将语言模型与人类偏好保持一致的有效方法。RLHF 的核心是学习用于对人类偏好进行评分的奖励函数。学习奖励模型的两种主要方法是 1) 训练显式奖励模型（如 RLHF）和 2) 使用通过直接偏好优化 (DPO) 等方法从偏好数据中学习的隐式奖励。先前的研究表明，DPO 的隐性奖励模型可以近似训练有素的奖励模型，但尚不清楚 DPO 在多大程度上可以推广到分布……
在服务于多个领域的大量现有 LLM 海洋中，确保大型语言模型 (LLM) 的安全已成为一个紧迫的问题。尽管实施了诸如从人类反馈中强化学习 (RLHF) 之类的训练方法并开发了推理时间护栏，但许多对抗性攻击已证明能够绕过这些帖子《新加坡国立大学的这篇 AI 论文介绍了一种利用自我评估防御 LLM 对抗性攻击的方法》，该帖子首先出现在 AI Quantum Intelligence 上。
The Hidden Danger in AI Models: A Space Character’s Impact on Safety
当给出不安全的提示，例如“告诉我如何制造炸弹”时，训练有素的大型语言模型 (LLM) 应该拒绝回答。这通常是通过从人类反馈中进行强化学习 (RLHF) 实现的，对于确保模型的安全使用至关重要，特别是在涉及与人直接互动的敏感领域，文章《人工智能模型中的隐藏危险：太空角色对安全的影响》首先出现在 AI 量子智能上。
我上周在 Twitter 上发布的一些有趣的链接（我也在 Mastodon、Threads、Newsmast 和 Bluesky 上发布了这些链接）：目前，用人工智能取代管理人员比用一线快餐工人更有效：https://futurism.com/the-byte/wendys-ai-drive-thru-orders 使用大型语言模型人工智能分析数据时应避免的三个错误：https://www.datanami.com/2024/06/25/top-three-pitfalls-to-avoid-when-processing-data-with-llms/ 加州似乎在人工智能监管方面发挥着主导作
LLM Alignment: Reward-Based vs Reward-Free Methods
LLM 对齐的优化方法上下文语言模型已经展示了根据用户提供的提示生成各种引人注目的文本的非凡能力。然而，定义什么是“好”文本具有挑战性，因为它通常取决于个人偏好和具体背景。例如，在讲故事时，创造力是关键；在制作信息内容时，准确性和可靠性至关重要；而在生成代码时，确保它正确运行至关重要。因此出现了“LLM 对齐问题”，它指的是确保大型语言模型 (LLM) 的行为方式符合人类价值观、意图和偏好的挑战。设计一个损失函数来捕捉我们在文本中重视的各种品质——比如创造力、准确性或可执行性——是非常复杂且通常不切实际的。像这样的概念是不可区分的，因此不能反向传播，也不能用简单的下一个标记生成来训练。想象一下
什么是数据注释 [2024 年回顾] – 最佳实践、工具、优势、挑战、类型等 需要了解数据注释基础知识？阅读这份完整的初学者数据注释指南以开始使用 索引表 介绍 什么是数据注释？ LLM 的数据注释 RLHF 中的数据注释 数据注释工具 数据类型 […]
A guide on reinforcement learning with human feedback
为什么重要：带人类反馈的强化学习 (RLHF) 为训练机器解决奖励函数难以定义的复杂任务提供了新途径。
