机构名称：
¥ 2.0
摘要 - 这项工作介绍了多模式扩散变压器（MDT），这是一种新颖的扩散策略框架，它擅长从多模式目标规范中学习多功能行为，而语言注释很少。MDT利用基于扩散的多模式变压器主链和两个自我监督的辅助目标来掌握基于多模式目标的长马操纵任务。绝大多数模仿学习方法仅从个人目标方式中学习，例如语言或目标图像。但是，现有的大规模模仿学习数据集仅以语言注释为部分标记，这禁止当前的方法从这些数据集中学习语言条件行为。MDT通过引入潜在的目标状态表示来解决这一挑战，该状态表示同时接受多模式目标指令进行培训。此状态表示将基于图像和语言的目标嵌入对齐，并编码足够的信息以预测未来状态。该表示是通过两个自制的辅助目标来训练的，从而增强了提出的变压器主链的性能。MDT在具有挑战性的Calvin和Libero基准提供的164项任务上显示出出色的表现，其中包括包含不到2％语言注释的Libero版本。此外，MDT还建立了关于加尔文操纵挑战的新记录，证明了对先前最新的最新方法的绝对性能提高了15％，该方法需要大规模预处理并包含10倍更多可学习的参数。MDT显示了其在模拟和现实世界环境中稀疏注释的数据中求解长马的能力。演示和代码可在https://intuitive-robots.github.io/mdt policy/。
多模式扩散变压器：从多模式目标学习多功能行为
主要关键词
相关文件推荐
