详细内容或原文请订阅后点击阅览
LLM 对齐：基于奖励的方法与无奖励的方法
LLM 对齐的优化方法上下文语言模型已经展示了根据用户提供的提示生成各种引人注目的文本的非凡能力。然而，定义什么是“好”文本具有挑战性，因为它通常取决于个人偏好和具体背景。例如，在讲故事时，创造力是关键；在制作信息内容时，准确性和可靠性至关重要；而在生成代码时，确保它正确运行至关重要。因此出现了“LLM 对齐问题”，它指的是确保大型语言模型 (LLM) 的行为方式符合人类价值观、意图和偏好的挑战。设计一个损失函数来捕捉我们在文本中重视的各种品质——比如创造力、准确性或可执行性——是非常复杂且通常不切实际的。像这样的概念是不可区分的，因此不能反向传播，也不能用简单的下一个标记生成来训练。想象一下，如果我们可以利用人类反馈来评估生成文本的质量，或者更好的是，使用该反馈作为指导损失函数来提高模型的性能。这一概念是人类反馈强化学习 (RLHF) 的核心。通过应用强化学习技术，RLHF 使我们能够根据直接的人类反馈微调语言模型，使模型更贴近人类的细微价值观和期望。这种方法开辟了新的可能性
来源:走向数据科学LLM 对齐：基于奖励的方法与无奖励的方法
LLM 对齐：基于奖励的方法与无奖励的方法
LLM 对齐的优化方法
上下文
语言模型已经展示了根据用户提供的提示生成各种引人注目的文本的卓越能力。然而，定义什么是“好”文本具有挑战性，因为它通常取决于个人偏好和具体背景。例如，在讲故事时，创造力是关键；在制作信息内容时，准确性和可靠性至关重要；在生成代码时，确保它正确运行至关重要。因此出现了“LLM 对齐问题”，它指的是确保大型语言模型 (LLM) 的行为方式与人类价值观、意图和偏好一致的挑战。
“LLM 对齐问题”，设计一个损失函数来捕捉我们在文本中重视的各种品质（如创造力、准确性或可执行性）非常复杂，而且往往不切实际。像这样的概念是不可区分的，因此不能反向传播，也不能通过简单的下一个标记生成进行训练。
想象一下，如果我们可以利用人类反馈来评估生成文本的质量，或者更好的是，使用该反馈作为指导损失函数来提高模型的性能。这个概念是从人类反馈进行强化学习 (RLHF) 的核心。通过应用强化学习技术，RLHF 使我们能够根据直接的人类反馈微调语言模型，使模型更紧密地与细微的人类价值观和期望保持一致。这种方法为训练语言模型开辟了新的可能性，这些模型不仅响应更快，而且更符合人类偏好的复杂性。
下面，我们将通过基于奖励的方法进一步了解 RLHF，然后通过无奖励的方法进一步了解 RLHF。