Rethinking the Role of PPO in RLHF
重新思考 PPO 在 RLHF 中的作用TL;DR：在 RLHF 中，奖励学习阶段（以比较的形式使用人类偏好）与 RL 微调阶段（优化单一的非比较奖励）之间存在矛盾。如果我们以比较的方式执行 RL 会怎么样？图 1：此图说明了绝对反馈和相对反馈的强化学习之间的区别。通过合并新组件 - 成对策略梯度，我们可以统一奖励建模阶段和 RL 阶段，从而实现基于成对响应的直接更新。大型语言模型 (LLM) 为功能越来越强大的虚拟助手提供支持，例如 GPT-4、Claude-2、Bard 和 Bing Chat。这些系统可以响应复杂的用户查询、编写代码，甚至创作诗歌。这些令人惊叹的虚拟助手背后的技术是带人类
Training Diffusion Models with Reinforcement Learning
使用强化学习训练扩散模型replay扩散模型最近已成为生成复杂高维输出的事实标准。您可能知道它们能够制作令人惊叹的 AI 艺术和超逼真的合成图像，但它们也在药物设计和连续控制等其他应用中取得了成功。扩散模型背后的关键思想是将随机噪声迭代地转换为样本，例如图像或蛋白质结构。这通常被激发为最大似然估计问题，其中模型被训练以生成尽可能接近训练数据的样本。然而，扩散模型的大多数用例并不直接与匹配训练数据有关，而是与下游目标有关。我们不只是想要一张看起来像现有图像的图像，而是一张具有特定外观的图像；我们不只是想要一个物理上合理的药物分子，而是想要一个尽可能有效的药物分子。在这篇文章中，我们展示了如何使用
On the Stepwise Nature of Self-Supervised Learning
图 1：自监督学习中的逐步行为。在训练常见的 SSL 算法时，我们发现损失以逐步方式下降（左上），而学习到的嵌入则以迭代方式增加维度（左下）。嵌入的直接可视化（右图；显示了前三个 PCA 方向）证实了嵌入最初会折叠到一个点，然后扩展到 1D 流形、2D 流形，并随着损失的步骤而扩展。人们普遍认为，深度学习的惊人成功部分归功于它能够发现和提取复杂数据的有用表示。自监督学习 (SSL) 已成为一种领先的框架，用于直接从未标记数据中学习图像的这些表示，类似于 LLM 直接从网络抓取的文本中学习语言的表示。然而，尽管 SSL 在 CLIP 和 MidJourney 等最先进的模型中发挥着关键作用，但诸
