详细内容或原文请订阅后点击阅览
通过背景故事选集实现语言模型的虚拟角色
我们介绍了 Anthology，这是一种通过生成和利用具有丰富个人价值观和经验细节的自然背景故事来将 LLM 调节为具有代表性、一致和多样化的虚拟角色的方法。大型语言模型 (LLM) 在由数百万和数十亿不同的人类作者共同制作的海量文本语料库上进行训练意味着什么？在“语言模型作为代理模型”中，令人信服的证据表明，最近的语言模型可以被视为代理模型：在提供文本上下文的情况下，LLM 能够生成代表可能产生该上下文的代理特征的条件文本。这表明，通过适当的调节，可以引导 LLM 近似特定人类声音的响应，而不是以其他方式出现的混合声音。如果实现，LLM 的这种能力将对用户研究和社会科学产生重大影响——作为人类受试者的虚拟角色的条件语言模型可以作为具有成本效益的试点研究并支持人类研究中的最佳实践，例如贝尔蒙特正义与仁慈原则。在这项工作中，我们引入了选集，这是一种通过提供丰富详细的个人生活叙述作为模型的条件背景来引导 LLM 成为具有代表性、一致和多样化的虚拟角色的方法。在此过程中，我们还提出了从 LLM 本身生成背景故事的方法
来源:BAIR我们介绍了 Anthology，这是一种通过生成和利用具有丰富个人价值观和经验细节的自然主义背景故事，将 LLM 调节为具有代表性、一致和多样化的虚拟角色的方法。
我们介绍了 Anthology，这是一种通过生成和利用具有丰富个人价值观和经验细节的自然主义背景故事，将 LLM 调节为具有代表性、一致和多样化的虚拟角色的方法。 选集对于大型语言模型 (LLM) 来说，在由数百万和数十亿不同的人类作者共同制作的海量文本语料库上进行训练意味着什么？
在“语言模型作为代理模型”中，令人信服的证据表明，最近的语言模型可以被视为代理模型：在提供文本上下文的情况下，LLM 能够生成表示可能产生该上下文的代理特征的条件文本。这表明，通过适当的调节，LLM 可以被引导来近似特定人类声音的响应，而不是其他情况下出现的混合声音。如果实现，LLM 的这种能力将对用户研究和社会科学产生重大影响——条件语言模型作为人类受试者的虚拟角色可以作为具有成本效益的试点研究，并支持人类研究中的最佳实践，例如贝尔蒙特正义和仁慈原则。
“语言模型作为代理模型” 代理 声音混合 虚拟角色 选集我们的方法：选集
选集使用个人生活叙述来调节语言模型生成
个人 先前 方法 人口水平- 回应容易导致 LLM 默认采用刻板和/或原型描述，因为它们仅以人口统计变量（例如种族和性别）为条件无法提供重要的相关指标，例如协方差和统计显着性，因为此类计算需要个人回应