详细内容或原文请订阅后点击阅览
相互加强LLM对话的综合和摘要功能，用于几个对话摘要
在这项工作中，我们提出了LLMS中相互加强数据合成（MRDS），以改善几片对话摘要任务。与需要外部知识的先前方法不同，我们相互加强LLM的对话综合和摘要功能，从而使他们在培训期间可以相互补充并增强整体性能。对话综合能力通过定向偏好优化和摘要能力的偏好评分来增强。通过产生的其他高质量对话 - 苏姆及配对数据来增强汇总功能…
来源:Apple机器学习研究在这项工作中，我们提出了LLMS中相互加强数据合成（MRDS），以改善几片对话摘要任务。与需要外部知识的先前方法不同，我们相互加强LLM的对话综合和摘要功能，从而使他们在培训期间可以相互补充并增强整体性能。对话综合能力通过定向偏好优化和摘要能力的偏好评分来增强。通过对话综合能力产生的其他高质量对话 - 苏格尔配对数据，可以增强汇总能力。通过利用拟议的MRDS机制，我们以合成数据的形式引起了LLM的内部知识，并使用它来增强少量拍摄的真实培训数据集。经验结果表明，我们的方法改善了对话摘要，在几次射击设置中，胭脂分数提高了1.5％，BERT得分提高了0.3％。此外，我们的方法在人类评估中达到了最高的平均分数，超过了预训练的模型，并且仅用于摘要任务的基本线。