机构名称：
¥ 1.0
从人类反馈（RLHF）中学习的最新进展通常是通过最大程度地提高观察到的人类偏好的可能性来对重新功能进行建模。但是，由于个体的不同背景，这些偏好信号本质上是随机的。在奖励和政策更新过程中，首选项中的这种固有的不确定性可能会导致不稳定或不安全的行为。在这项工作中，我们通过学习分布式奖励模型和来自离线偏好数据集的风险敏感政策来介绍RLHF中不确定性的优先对齐。具体来说，我们提出了最大的后验（地图），以更新与轨迹相关的奖励。此更新过程在人类偏好中的不确定性之前包含了一份信息。利用此更新的奖励样本，我们开发了一个生成奖励模型来表示奖励分布。在奖励模型中固有的随机性驱动下，我们利用了离线分销钟声操作员和有条件的危险价值（CVAR）度量标准，从离线数据集中学习了对风险敏感的策略。实验结果表明，风险敏感的RLHF代理可以有效地识别并避免具有重大随机性的状态，从而在不同任务中实现规避风险的控制。
不确定性意识到的偏好一致性从人类反馈学习
主要关键词
相关文件推荐
