人类反馈是大语言模型(LLMS)的一致性的核心。但是,关于方法,域(Who),人(WHO)和目标(到什么目的)的方法(如何),反馈过程的开放问题仍然存在。为了浏览这些问题,我们介绍了P rism,该数据集绘制了来自75个国家 /地区的1,500名不同参与者的偏好,并在8,011个现场对话中以21 llms的方式表示偏好。使用P RISM,我们贡献了(i)更广泛的地理和人口参与反馈; (ii)两个国家的人口普查代表样本(美国,美国); (iii)与详细参与者概况相关的个性化评级,允许样本人工制品的个性和归因。我们针对具有价值和有争议的问题的主观和多元文化观点,我们期望人际关系和跨文化分歧。我们在三个案例研究中使用P RISM来证明需要仔细考虑人类提供哪些对齐数据的需要。
主要关键词