详细内容或原文请订阅后点击阅览
了解多模式法学硕士中的一致性：综合研究
偏好对齐已成为提高大型语言模型 (LLM) 性能的关键组成部分，但其对多模态大型语言模型 (MLLM) 的影响仍相对未得到充分研究。与语言模型类似，用于图像理解任务的 MLLM 也会遇到幻觉等挑战。在 MLLM 中，幻觉不仅可以通过陈述不正确的事实而发生，还可以通过产生与图像内容不一致的响应而发生。 MLLM 对齐的主要目标是鼓励这些模型将响应与图像信息更紧密地对齐。最近...
来源:Apple机器学习研究偏好对齐已成为提高大型语言模型 (LLM) 性能的关键组成部分，但其对多模态大型语言模型 (MLLM) 的影响仍相对未得到充分研究。与语言模型类似，用于图像理解任务的 MLLM 也会遇到幻觉等挑战。在 MLLM 中，幻觉不仅可以通过陈述不正确的事实而发生，还可以通过产生与图像内容不一致的响应而发生。 MLLM 对齐的主要目标是鼓励这些模型将响应与图像信息更紧密地对齐。最近，多项工作引入了 MLLM 的偏好数据集，并研究了不同的对齐方法，包括直接偏好优化（DPO）和近端策略优化（PPO）。然而，由于数据集、基础模型类型和对齐方法的变化，目前尚不清楚哪些特定元素对这些工作中报告的改进贡献最大。在本文中，我们独立分析了 MLLM 中偏好调整的各个方面。我们首先将对齐算法分为两类：离线（例如 DPO）和在线（例如 online-DPO），并表明结合离线和在线方法可以在某些场景下提高模型的性能。我们回顾了各种已发布的多模式偏好数据集，并讨论其构建细节如何影响模型性能。基于这些见解，我们引入了一种创建多模态偏好数据的新方法，称为偏差驱动幻觉采样（BDHS），它既不需要额外的注释，也不需要外部模型，并表明它可以在一系列基准上实现与之前发布的多模态模型对齐工作的竞争性能。