背景和动机视觉策略学习涉及将视觉观察映射到运动动作上,使机器人能够有效地与环境互动。传统方法通常在多模式作用分布的复杂性以及对高精度和时间一致性的需求中挣扎。最近引入的扩散策略通过采用有条件的降级扩散过程来生成机器人动作,从而提供了有希望的解决方案。这些模型在产生复杂的行为方面表现出了卓越的性能,使其成为机器人操纵和组装任务的理想候选人。此外,整合自然语言处理(NLP)允许多功能任务调理,使机器人能够根据人类指令执行各种任务。
1 塞格德大学神经病学系,Semmelweis utca 6, H-6725 Szeged, 匈牙利 2 里昂神经科学研究中心 CRNL U1028 UMR5292, INSERM, CNRS, Universit é Claude Bernard Lyon 1, 95 Boulevard Pinel, F-69500 Bron, France 3 心理学博士学院,ELTE Eötvös Lor ánd University, Izabella utca 46, H-1064 布达佩斯,匈牙利 4 大脑、记忆和语言研究组,认知神经科学和心理学研究所,自然科学研究中心,Magyar Tud ó sok Kör ú tja 2, H-1117 布达佩斯,匈牙利 5 心理学研究所,ELTE Eötvös Lor á nd大学, Izabella utca 46, H-1064 布达佩斯,匈牙利 6 塞格德大学放射学系,Semmelweis utca 6,H-6725 塞格德,匈牙利 7 弗莱堡大学医学院解剖学和细胞生物学研究所神经解剖学系,Albertstrasse 17,D-79104 弗莱堡,德国 8 BML-NAP 研究小组,心理学研究所 & 认知神经科学和心理学研究所,ELTE Eötvös Lor ánd 大学 & 自然科学研究中心,Damjanich utca 41,H-1072 布达佩斯,匈牙利 * 通讯地址:nemethd@gmail.com † 这些作者对这项工作做出了同等贡献。
https://www.youtube.com/embed/0ljb666aytg8? start = 111&Mute = 1&enablejsapi = 1&controls = 0&rel = 0&modestbranding = 1https://www.youtube.com/embed/0ljb666aytg8?start = 111&Mute = 1&enablejsapi = 1&controls = 0&rel = 0&modestbranding = 1
摘要本文介绍了扩散策略,这是一种通过将机器人的视觉运动策略表示为有条件的降级扩散过程来生成机器人行为的新方法。我们从4种不同的机器人操纵基准的15个不同任务进行基准扩散策略,发现它始终优于现有的最新机器人学习方法,平均提高46.9%。扩散策略学习了动作分布得分函数的梯度,并通过一系列随机Langevin动力学步骤在推断过程中对此梯度字段进行了迭代优化。我们发现,用于机器人策略的扩散配方会产生强大的优势,包括优雅地处理多模式作用分布,适合高维操作空间以及表现出令人印象深刻的训练稳定性。为了充分解锁在物理机器人上进行视觉运动策略学习的扩散模型的潜力,本文提供了一组关键的技术贡献,包括结合后退的地平线控制,视觉调节和时间序列扩散变压器。我们希望这项工作将有助于激励新一代的政策学习技术,这些技术能够利用扩散模型的强大生成建模能力。代码,数据和培训详细信息可用forfusion-policy.cs.columbia.edu
背景:快速视觉运动反应时间 (VMRT) 是识别和响应连续出现的视觉刺激所需的时间,它使运动员能够在运动期间成功地对刺激做出反应,而较慢的 VMRT 则与受伤风险增加有关。基于光的系统能够测量上肢和下肢 VMRT;但这些评估的可靠性尚不清楚。目的:使用基于光的训练系统确定上肢和下肢 VMRT 任务的可靠性。设计:可靠性研究。地点:实验室。患者(或其他参与者):20 名在过去 12 个月内没有受伤史的参与者。方法:参与者在间隔 1 周的 2 个单独测试会议上向实验室报告。对于这两项任务,都要求参与者尽快熄灭随机序列的发光二极管磁盘,这些磁盘一次出现一个。在完成测试试验之前,为参与者提供了一系列练习试验。 VMRT 计算为两次击中目标之间的时间(以秒为单位),其中 VMRT 越高表示反应时间越慢。主要结果测量:计算单独的组内相关系数(ICC)和相应的 95% 置信区间(CI),以确定每个任务的重测信度。确定 SEM 和最小可检测变化值以检查临床适用性。结果:右肢下肢信度极佳(ICC 2,1 = .92;95% CI,.81 – .97)。左肢(ICC 2,1 = .80;95% CI,.56 – .92)和上肢任务(ICC 2,1 = .86;95% CI,.65 – .95)均具有良好的信度。结论:两个 VMRT 任务在健康、活跃人群中均具有临床可接受的信度。未来的研究应该探索这些测试的进一步应用,作为已知 VMRT 缺陷的健康状况康复后的结果测量。
