详细内容或原文请订阅后点击阅览
使用以幻觉为中心的偏好优化缓解大型语言模型中的幻觉翻译
机器翻译 (MT) 正在经历范式转变，基于微调大型语言模型 (LLM) 的系统与专门为翻译任务训练的传统编码器-解码器模型相比，竞争力越来越强。然而，基于 LLM 的系统产生幻觉的风险更高，这会严重损害用户的信任和安全。大多数关于缓解幻觉的先前研究都集中在传统的 MT 模型上，解决方案涉及事后缓解 - 检测幻觉翻译并重新翻译。虽然这种方法有效，但……
来源:Apple机器学习研究机器翻译 (MT) 正在经历范式转变，基于经过微调的大型语言模型 (LLM) 的系统与专门为翻译任务训练的传统编码器-解码器模型相比，竞争力越来越强。然而，基于 LLM 的系统产生幻觉的风险更高，这会严重损害用户的信任和安全。大多数关于幻觉缓解的先前研究都集中在传统的 MT 模型上，解决方案涉及事后缓解 - 检测幻觉翻译并重新翻译。虽然这种方法有效，但它在生产中部署额外工具时增加了复杂性，并且还增加了延迟。为了解决这些限制，我们提出了一种在模型训练阶段从本质上学习缓解幻觉的方法。具体来说，我们引入了一个数据创建框架来生成以幻觉为重点的偏好数据集。在这些偏好数据集上微调 LLM 可将五种语言对的幻觉率平均降低 96%，同时保持整体翻译质量。在零样本设置中，我们的方法平均将三种未见过的目标语言中的幻觉减少了 89%。