沉浸式虚拟现实 (VR) 环境是探索认知过程(从记忆和导航到视觉处理和决策)的强大工具,并且可在自然但受控的环境中进行。因此,它们已被用于不同物种和各种研究小组。不幸的是,在这样的环境中设计和执行行为任务通常很复杂。为了应对这一挑战,我们创建了 DomeVR,这是一个使用虚幻引擎 4 (UE4) 构建的沉浸式 VR 环境。UE4 是一个功能强大的游戏引擎,支持照片级逼真的图形,并包含专为非程序员设计的可视化脚本语言。因此,可以使用拖放元素轻松创建虚拟环境。DomeVR 旨在使这些功能可用于神经科学实验。这包括一个日志记录和同步系统,用于解决 UE4 固有的时间不确定性;一个交互式 GUI,供科学家在实验期间观察受试者并动态调整任务参数,以及一个圆顶投影系统,用于在非人类受试者中实现完全任务沉浸。这些关键功能是模块化的,可以轻松单独添加到其他 UE4 项目中。最后,我们提供了原理验证数据,重点介绍了 DomeVR 在三个不同物种(人类、猕猴和老鼠)中的功能。
摘要 - 在其突出的场景理解和发挥功能的情况下,预先训练的视觉语言模型(VLM)(例如GPT-4V)引起了机器人任务计划中越来越多的关注。与传统的任务计划策略相比,VLM在多模式信息解析和代码生成中很强,并表现出显着的效率。尽管VLM在机器人任务计划中具有巨大的潜力,但它们遭受了幻觉,语义复杂性和有限的背景等挑战。要处理此类问题,本文提出了一个多代理框架,即GameVLM,以增强机器人任务计划中的决策过程。在这项研究中,提出了基于VLM的决策和专家代理人来进行任务计划。具体来说,决策代理人用于计划任务,并采用专家代理来评估这些任务计划。零和游戏理论,以解决不同代理之间的不一致并确定最佳解决方案。对真实机器人的实验结果证明了该框架的功效,平均成功率为83.3%。我们的实验视频可在https://youtu.be/sam-mkcpp7y上找到。索引术语 - 任务计划,多机构,视觉语言模型,零和游戏理论,决策。