详细内容或原文请订阅后点击阅览
从多模式LLM到通才体现的药物：方法和课程
我们研究了多模式大语言模型（MLLM）的能力，以解决超出传统语言和视觉任务的不同领域，这些模型通常受到培训。具体而言，我们的重点在于体现的AI，游戏，UI控制和计划等领域。为此，我们引入了将MLLM适应通才体现的代理（GEA）的过程。 GEA是一个单一的统一模型，能够通过多物种作用令牌将自己跨越这些各种领域的自身地接地。 GEA在大量的体现经验数据集中接受了监督学习和…
来源:Apple机器学习研究我们研究了多模式大语言模型（MLLM）的能力，以解决超出传统语言和视觉任务的不同领域，这些模型通常受到培训。具体而言，我们的重点在于体现的AI，游戏，UI控制和计划等领域。为此，我们引入了将MLLM适应通才体现的代理（GEA）的过程。 GEA是一个单一的统一模型，能够通过多物种作用令牌将自己跨越这些各种领域的自身地接地。 GEA在大量的体现体验数据集和交互式模拟器中的在线RL上接受了有监督的学习培训。我们探索开发这种模型所需的数据和算法选择。我们的发现揭示了跨域数据和在线RL培训对建筑通才代理商的重要性。与其他通才模型和特定于基准的方法相比，最终的GEA模型实现了强大的概括性能，可以看到各种基准的任务。