材料和方法:这是一项在受控观察环境下使用功能性磁共振成像 (fMRI) 对单个受试者进行的实验研究。选定的受访者正在执行基于两种视觉条件的任务,其中向受访者显示两种不同类型的图像(容易和困难的鸟类)。要求受试者识别特定的鸟类图像以可视化决策过程中使用的体素。前额叶皮质的三个布罗德曼区域(BA 10、BA 11 和 BA 47)被选为感兴趣区域。本研究分析了在做出与两种视觉条件相关的普通决策时激活的大脑区域。应用多变量技术多层感知器 (MLP) 神经网络对受访者在执行视觉任务时做出的两个普通决策进行分类。
就机队中每 100 架飞机和每 100,000 小时飞行的总体事故而言,172 比对比飞机略胜一筹。美国联邦航空管理局根据年度通用航空活动和航空电子设备调查估计年度飞行小时数,该调查包括 30,000 名飞机拥有者提供的飞行时间、着陆、燃油消耗、机身寿命小时数、航空电子设备和发动机小时数报告。与对比飞机相比,Skyhawk 发生的严重事故较少 — 可能是因为它被广泛用作训练飞机。初级和仪表学生的飞行课程通常在良好天气下进行,因此普通学生接触边缘视觉条件或仪表气象条件 (IMC) 的机会很少。因此,教学飞行与天气有关的事故相对较少。遗憾的是,由于缺乏恶劣天气的经验,新获得认证的飞行员和新获得仪表等级的飞行员可能都没有做好在恶劣天气条件下飞行的准备。
我们介绍了Cyberdemo,这是一种用于机器人模仿学习的新方法,该方法利用了模拟人类的策略来实现现实世界的任务。通过在模拟环境中纳入广泛的数据增强,CyberDemo在转移到现实世界中的传统现实世界中的表现优于传统的现实世界中的演示,从而处理了多样化的物理和视觉条件。无论其负担能力和在数据收集中的便利性如何,Cyberdemo Opper-pers-pers-pers-pers of-lip-term-term of基线方法在跨不同任务的成功率方面,并具有以前未见的对象的普遍性。例如,尽管只有人类的示范插入三瓣,但它仍可以旋转新型的四阀和五角谷。我们的研究证明了模拟人类示范对现实世界灵活操纵任务的重要潜力。更多详细信息可以在https://cyber-demo.github.io/
摘要 - 我们引入了Riemannian流匹配策略(RFMP),这是一种用于学习和合成机器人视觉策略的新型模型。RFMP利用流量匹配方法的有效训练和推理能力。通过设计,RFMP继承了流量匹配的优势:编码高维多模式分布的能力,通常在机器人任务中遇到,以及非常简单且快速的推理过程。我们证明了RFMP对状态和视觉条件的机器人运动策略的适用性。值得注意的是,正如机器人状态位于里曼尼亚歧管上一样,RFMP固有地包含了几何意识,这对于逼真的机器人任务至关重要。为了评估RFMP,我们进行了两个概念验证实验,将其性能与扩散策略进行了比较。尽管两种方法都成功 - 完全学习了所考虑的任务,但我们的结果表明,RFMP提供了更平稳的推理时间的动作轨迹。
摘要 - 视觉控制策略在视觉条件(如照明或摄像机位置)与训练过程中所见的情况有所不同时可能会遇到重大的性能降解 - 通常甚至在较小的差异方面表现出急剧下降的能力。在这项工作中,我们研究了基于RGB-D和基于点云的视觉控制策略的这些类型的视觉变化的鲁棒性。要对基于模型和基于模型的强化学习者进行这些实验,我们引入了一种新颖的Point Cloud World Model(PCWM)和基于点云的控制策略。我们的实验表明,明确编码点云的策略比其RGB-D对应物更强大。此外,我们发现我们提出的PCWM在训练过程中的样本效率方面显着优于先前的工作。在一起,这些结果表明,通过点云进行有关3D场景的推理可以提高性能,减少学习时间并增加机器人学习者的鲁棒性。项目网页:https://pvskand.github.io/projects/pcwm
动态系统理论通过识别有机体与环境之间的持续相互作用来改变我们对运动控制的理解。移动不再仅仅是作为对刺激模式的响应或先前意图的证明;运动取决于上下文,并因周围世界的持续动态而不断地重塑。虚拟现实是一种方法论变量,它使我们能够控制和操纵这种环境环境。存在大量文献,以支持视觉流,视觉条件和视觉感知对运动计划和执行的影响。在康复实践中,这项技术主要是用作动机和享受体育锻炼的工具。在实践中通常会忽略通过虚拟世界参数调节运动行为的机会。在本文中,我们介绍了实验室和其他实验的结果,表明通过不同的感官方式介绍虚拟世界的特定特征将改变平衡和运动行为。我们将讨论虚拟世界中的运动如何打开电动机计划过程的窗口,并向我们通知视觉和体感信号的相对权重。最后,我们讨论了这些发现应如何影响未来的治疗设计。
摘要:在实时闭环设置中使用脑电图 (EEG) 评估瞬时大脑状态是一个技术难题,因为需要预测未来信号来定义当前状态,例如瞬时相位和幅度。为了实时实现这一点,人们使用了传统的基于 Yule-Walker (YW) 的自回归 (AR) 模型。然而,采用自适应方法的闭环系统实时实现大脑状态相关的方法尚未被探索。我们的主要目的是研究使用基于自适应最小均方 (LMS) 的 AR 模型进行时间序列前向预测是否可以在实时闭环系统中实现。EEG 状态相关触发器与睁眼静息状态和视觉任务中的 EEG α 振荡峰值和谷值同步。对于静息和视觉条件,统计结果表明,所提出的方法成功地为所有参与者在 EEG 振荡的特定阶段提供触发器。这些单独的结果表明,基于 LMS 的 AR 模型已成功应用于针对特定 alpha 振荡阶段的实时闭环系统,并且可以用作传统和机器学习方法的自适应替代方案,且计算负荷较低。
视觉语言(VL)模型最近取得了未经证实的成功,其中连接模块是弥合模式差距的关键。尽管如此,在大多数存在方法中,富裕的视觉线索尚未充分利用。在视觉侧,大多数现有方法仅使用视觉塔的最后一个功能,而无需使用低级功能。在语言方面,大多数现有的方法仅引入浅视力互动。在本文中,我们提出了一个视觉启发的视觉语言连接模块,称为VIVL,该模块有效利用了VL模型的视觉提示。为了利用视觉塔中的较低级别信息,引入了特征金字塔提取器(FPE),以结合不同中间层的特征,该特征将视觉提示与可忽略不计的参数和计算在头顶上。为了实现VL相互作用,我们提出了深视觉条件的提示(DVCP),可以有效地进行视觉和语言特征的深层互动。我们的VIVL超过了以前的最新方法,当时是18.1苹果酒在从头开始训练可可字幕任务,这极大地提高了数据效率。当用作插件模块时,VIVL始终提高各种骨干和VL框架的性能,在多个基准测试中提供新的最新结果,例如Nocaps和VQAV2。