我们介绍了Cyberdemo,这是一种用于机器人模仿学习的新方法,该方法利用了模拟人类的策略来实现现实世界的任务。通过在模拟环境中纳入广泛的数据增强,CyberDemo在转移到现实世界中的传统现实世界中的表现优于传统的现实世界中的演示,从而处理了多样化的物理和视觉条件。无论其负担能力和在数据收集中的便利性如何,Cyberdemo Opper-pers-pers-pers-pers of-lip-term-term of基线方法在跨不同任务的成功率方面,并具有以前未见的对象的普遍性。例如,尽管只有人类的示范插入三瓣,但它仍可以旋转新型的四阀和五角谷。我们的研究证明了模拟人类示范对现实世界灵活操纵任务的重要潜力。更多详细信息可以在https://cyber-demo.github.io/
在这项工作中,我们提出了一种新颖的歧视性框架,用于灵巧的掌握生成,称为d外部g rasp tr ansformer(dgtr),能够通过仅使用一个向前的通行方式处理对象点云来预测一组可行的抓握姿势。我们将敏捷的掌握生成作为设定的预测任务,并为其设计一个基于变压器的握把模型。但是,我们确定此设置的预测范式在灵活的掌握领域遇到了几种优化的挑战,并导致限制性能。为了解决这些问题,我们提出了培训和测试阶段的渐进策略。首先,提出了动态静态匹配训练(DSMT)策略,以增强训练阶段的光学稳定性。第二,我们使用一对对抗性损失来实现对抗平衡的测试时间适应(ABTTA),以提高测试阶段的掌握质量。dexgraspnet数据集的实验结果证明了DGTR可以预测具有高质量和多样性的灵活掌握姿势的能力。值得注意的是,在保持质量高的同时,DGTR Sigsigs所预测的Grasp的多样性明显优于先前的多个指标,而没有任何数据预处理。代码可在https://github.com/isee-laboratory/dgtr上找到。
DEXO - 德克斯特附近的威拉米特河中支 (inst) DEXO - 德克斯特附近的威拉米特河中支 平均值 (1 天) 美国陆军工程兵团生物参考最大值* 美国陆军工程兵团生物参考最小值*
所有版本的 Hand 都使用 EtherCAT 总线。EtherCAT(用于控制自动化技术的以太网)是一种基于 100Mbps 以太网的现场总线。它目前用于许多系统,例如 Willow Garage 的 PR2 机器人,这使得这些版本的 Hand 与 PR2 以及任何其他与 EtherCAT/ROS 兼容的研究或工业控制系统兼容。EtherCAT 总线加 ROS 需要一台功能强大的多核 PC(随附)和标准以太网端口。由于位置控制回路发生在主机中,因此 Hand 使用的 EtherCAT 协议很简单。
摘要 - 本文介绍了Robodexvlm,这是一个用于机器人任务计划的创新框架,并掌握了配备灵敏手的协作操纵器的检测。以前的方法着眼于简化且有限的操纵任务,这些任务通常忽略了以长期培训方式抓住各种对象相关的复杂性。相比之下,我们提出的框架利用灵巧的手能够抓住不同形状和大小的对象,同时根据自然语言命令执行任务。所提出的方法具有以下核心组件:首先,设计了一个具有任务级恢复机制的稳健任务计划器,该机制设计了视觉语言模型(VLMS),这使系统能够解释和执行长序列任务。第二,基于机器人运动学和正式方法提出了语言引导的灵活掌握感知算法,该方法是针对带有多种物体和命令的零摄像的灵巧操作量身定制的。全面的实验结果验证了Robodexvlm在处理长层场景和执行灵巧抓握方面的有效性,适应性和鲁棒性。这些结果突出了该框架在复杂环境中运行的能力,展示了其进行开放式灵巧操作的潜力。我们的开源项目页面可以在https://henryhcliu.github.io/robodexvlm上找到。
th +#w#%i%#%t:l#%% +'k%,:'lm {1% +%#!- % - #'a-'''------- +%t,。a,'我!..'。!-x“ 1,。,,,1,x i l!'lyndoan:dexte'!Webster 23 - ','。=。= <“ - ..” - !。:a。 “a J“ ..” t.i;,l“ T J, - 。。,;!- ,!14)“ = - - r'----%% - :: A'“ S71VAQ:”'。$。 arbor“ a( *(,racsv = hg:l === 1 == 1 ==朋友:a *i ---',',',',',',',',',',',','' 。:: A'“ S71VAQ:”'。$。arbor“ a( *(,racsv = hg:l === 1 == 1 ==朋友:a *i ---',',',',',',',',',',',','' 。
他留下了儿子 Jamey Brown 和妻子 Tina(住在密苏里州德克斯特);姐姐 Betty Dalton(住在密歇根州庞蒂亚克);六个孙辈:Christina Orr(住在德克斯特);Amanda Hopkins(住在阿拉巴马州伯明翰);Laci Eaton(住在德克斯特);Steve Kirkpatrick、Jason Williams 和 Trevor Williams(住在密苏里州伯尼);十六个曾孙辈:Payton Kirkpatrick、Piper Kirkpatrick、Jase Kirkpatrick、Rylee Eaton、Ryan Eaton、Brynlee Pence、Taylor Williams、Jaelyn Williams、Nicholas Williams、Nolan Williams、Nora Williams、Reese Williams、Zayn Williams、Lynnie Williams、Xander Moore 和 Noah Kirkpatrick。
摘要 - 我们介绍了Dexo,这是一种新型的手部外骨骼系统,旨在教机器人灵巧的操纵。与传统的远程操作系统不同,由于缺乏触觉反馈和可扩展性的限制,Dexo可以通过运动镜像和力透明性来实现自然和直观的控制。系统的被动外骨骼设计使人类用户可以直接控制机器人的灵巧手,传输精确的运动和强制数据,以在实际环境中学习复杂的任务。配备了集成的触觉传感器,Dexo捕获了高保真互动数据,促进了操纵学习,而无需昂贵的硬件或仔细的工程。我们评估了跨多个灵巧任务的系统,证明了其复制人类水平的操纵的能力及其扩展收集高质量演示数据的潜力,以培训高级机器人学习模型。与现有的远程处理方法相比,我们的实验显示了任务成功率的显着提高,这使得Dexo成为推进机器人敏捷性的强大工具。
强化学习 (RL) 在实现机器人自主习得复杂操作技能方面前景广阔,但在现实环境中实现这一潜力却充满挑战。我们提出了一个基于视觉的人机协同强化学习系统,该系统在一系列灵巧操作任务中展现出令人印象深刻的性能,包括动态操作、精密装配和双臂协调。我们的方法融合了演示和人工校正、高效的强化学习算法以及其他系统级设计选择,旨在学习在短短 1 到 2.5 小时的训练时间内即可实现近乎完美的成功率和快速循环时间的策略。我们证明,我们的方法显著优于模仿学习基线和先前的强化学习方法,平均成功率提高了 2 倍,执行速度提高了 1.8 倍。通过大量的实验和分析,我们深入了解了该方法的有效性,展示了它如何为反应式和预测式控制策略学习稳健且自适应的策略。我们的结果表明,强化学习确实能够在实际训练时间内直接在现实世界中学习各种基于视觉的复杂操作策略。我们希望这项工作能够激发新一代学习型机器人操作技术,促进工业应用和研究进步。视频和代码可在我们的项目网站 https://hil-serl.github.io/ 获取。
摘要:由于不连续的动力学以及高维状态和动作空间,机器人的操作具有挑战性。在操纵任务中成功的数据驱动方法通常需要大量数据和专家证明,通常来自人类。现有的计划者仅限于特定系统,并且通常依靠用于使用演示的专业算法。因此,我们引入了一名灵活的运动计划者,该计划量身定制了灵巧和全身锻炼任务。我们的计划者可以为增强学习算法创建可用的演示,从而消除了对额外的培训管道复杂性的需求。使用这种方法,我们可以有效地学习复杂的操纵任务的政策,仅传统的强化学习只会取得很少的进步。此外,我们证明了学习的政策可以转移到真正的机器人系统中,以解决复杂的灵巧操纵任务。项目网站:https://jacta-manipulation.github.io/