跨语言对齐表示形式是多语言大语言模型（MLLMS）中所需的属性，因为对齐可以提高跨语性任务的性能。通常，对齐需要微调模型，该模型在计算上昂贵且相当大的语言数据，通常可能无法使用。微调替代品是模型干预措施 - 一种操纵模型激活以将生成转向所需方向的方法。我们分析了流行干预措施（寻找专家）对…
跨语性转移是一种在低资源环境中增加NLP任务的培训数据量的流行方法。但是，确定包含哪些跨语性数据的最佳策略尚不清楚。先前的研究通常集中于一些语言家庭或一项任务的一小部分语言。这些发现如何扩展到多种多样的语言和任务仍然是一个悬而未决的问题。在这项工作中，我们通过分析来自各种语言家庭的263种语言的跨语化转移来为这个问题做出了贡献。此外，我们包括三个流行的NLP任务…
Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis
在本文中，我们提出了一项新任务 - 从人及其成绩单（VTT）视频中产生语音 - 以激发多模式语音生成的新技术。这项任务概括了从裁剪唇部视频中生成语音的任务，并且比从视频和文字中生成通用音频剪辑（例如，狗吠叫）的任务还要复杂。任务的多语言版本可能会导致跨语性配音的新技术。我们还为此任务提供了一个仅解码器的多模式模型，我们称之为Visatronic。该模型直接嵌入视觉，文字和语音……
