个性化聊天机器人交互的一种方法是与目标读者建立共同点。建立相互理解可能特别有影响力的领域是疫苗担忧和错误信息。疫苗干预是一种信息传递形式,旨在回答有关疫苗接种的担忧。在这个领域定制回应很困难,因为意见往往似乎很少有意识形态的重叠。我们的任务是根据共同意见 (CGO) 定制疫苗干预措施。根据 CGO 定制回应涉及通过将答案与读者持有的观点或信念联系起来来有意义地改进答案。在本文中,我们介绍了 T AILOR-CGO,这是一个用于评估响应如何根据提供的 CGO 进行定制的数据集。我们对这个任务上的几个主要 LLM 进行了基准测试;发现 GPT-4-Turbo 的表现明显优于其他。我们还构建了自动评估指标,包括一个高效、准确的 BERT 模型,该模型的表现优于经过微调的 LLM,研究如何成功地根据 CGO 定制疫苗信息,并根据这项调查提供可行的建议。1
主要关键词