详细内容或原文请订阅后点击阅览
大型语言模型有英语口音吗？评估和改善多语言LLMS的自然性
当前的大型语言模型（LLMS）主要是用英语设计为主要语言的，即使是多语言的少数语言也倾向于表现出强烈的以英语为中心的偏见。就像在学习第二语言时可能会产生尴尬表情的演讲者一样，LLM通常会以非英语语言产生不自然的输出，反映了词汇和语法中以英语为中心的模式。尽管这个问题很重要，但多语言LLM输出的自然性受到了有限的关注。在本文中，我们通过引入新颖的自动……
来源:Apple机器学习研究当前的大型语言模型（LLMS）主要是用英语设计为主要语言的，即使是多语言的少数语言也倾向于表现出强烈的以英语为中心的偏见。就像在学习第二语言时可能会产生尴尬表情的演讲者一样，LLM通常会以非英语语言产生不自然的输出，反映了词汇和语法中以英语为中心的模式。尽管这个问题很重要，但多语言LLM输出的自然性受到了有限的关注。在本文中，我们通过引入新颖的自动语料库级指标来解决这一差距，以评估LLM输出在多语言环境中的词汇和句法自然性。使用我们的新指标，我们在法语和中文的精选基准上评估了最先进的LLMS，这表明倾向于受到英语影响的模式。为了减轻此问题，我们还提出了一种简单有效的一致性方法，以改善目标语言和域中LLM的自然性，从而在不损害通用基准上的性能的情况下实现自然性的一致改善。我们的工作强调了为新浪潮开发多语言指标，资源和方法的重要性。
†Sapienza罗马大学‡‡苹果实习期间部分完成的工作