机构名称：
¥ 1.0
自主人工智能（AI）代理已经成为有前途的协议，以理解基于语言的环境，尤其是在大型语言模型（LLM S）的指数发展中。然而，多模式环境的细粒度，全面的不阐述不足。这项工作设计了一种量身定制的AU级工作流，该工作流无缝地集成到混合现实中（MR）进行细粒度的培训。我们在飞行员MR环境中为乐高砖组装的多模式细粒训练助手提供了演示。具体来说，我们设计了一种大脑语言代理，将LLM S与MR工具和视觉语言代理的内存，计划和互动集成在一起，使代理能够根据过去的经验来决定其行动。此外，我们推出了Lego-MRTA，这是一种多模式细粒组件Di-Alogue DataSet，在商业LLM提供的工作流程中自动合成。该数据集包括多模式指令的操作，对话，MR响应和视觉问题回答。最后，我们将几个流行的开放式LLM S作为基准，评估了他们在建议的数据集中进行微调的情况下的性能。我们要抗衡，该工作流的更广泛的影响将推动对MR环境中无缝用户互动的更智能分析的发展，从而促进了AI和HCI社区的研究。
多模式细粒训练助理的自主工作流程
主要关键词
相关文件推荐
