摘要 - 我们提出了一个基于深厚的增强学习(DRL)的基于新颖的6多型,6多的抓地框架,该框架能够直接合成笛卡尔空间中的连续6-DOF动作。我们所提出的方法使用了直觉的RGB-D摄像头的视觉观察,我们通过域随机化,图像增强和分割工具的结合来减轻SIM到真实的间隙。我们的方法包括一个非政策,最大渗透性,演员算法,该算法从二进制奖励和一些模拟示例grasps中学习了政策。它不需要任何现实世界的掌握示例,对模拟进行了完全训练,并且直接部署到现实世界中而没有任何微调。The efficacy o f o ur a pproach i s d emonstrated i n simulation and experimentally validated in the real world on 6-DoF grasping tasks, achieving state-of-the-art results of an 86% mean zero-shot success rate on previously unseen objects, an 85% mean zero-shot success rate on a class of previously unseen adversarial objects, and a 74.3% mean zero-shot success rate on a class of previously看不见,具有挑战性的“ 6-DOF”对象。可以在https://youtu.be/bwpf8imvook
自主机器人组装的摘要最新进步已显示出令人鼓舞的结果,尤其是在应对精确插入挑战方面。但是,在不同的对象类别和任务之间实现适应性通常需要一个学习阶段,需要昂贵的现实世界数据收集。先前的研究通常假定插入的对象对机器人的末端效果的刚性附着,或者依赖于结构环境中的精确校准。我们提出了一种单发方法,用于高精度接触富含的操作装配任务,从而使机器人仅使用单个演示图像从随机呈现的方向上执行新对象的插入。我们的方法结合了一个混合框架,该框架将基于6-DOF视觉跟踪的迭代控制和阻抗控制融合在一起,从而通过实时视觉反馈促进高精度任务。重要的是,我们的方法不需要预先训练,并且证明了对摄像头姿势校准误差和物体内部姿势的干扰产生的不确定性的弹性。我们通过在现实世界中的广泛实验进行了拟议框架的效果,涵盖了各种高度精确的组装任务。
摘要:准确估计图像中物体的六自由度 (6-DoF) 姿势对于各种应用至关重要,例如机器人、自动驾驶、无人驾驶飞机系统 (UAS) 的自主、人工智能和基于视觉的导航。开发此类算法需要大量数据集;然而,生成这些数据集非常繁琐,因为它需要注释图像中每个感兴趣物体相对于相机的 6-DoF 相对姿势。因此,这项工作提出了一种新颖的方法,可以自动化数据采集和注释过程,从而将注释工作量最小化到录制持续时间。为了最大限度地提高生成的注释质量,我们采用基于优化的方法来确定相机的外部校准参数。我们的方法可以处理场景中的多个物体,自动为每个物体提供地面真实标记,并考虑不同物体之间的遮挡效应。此外,我们的方法不仅可用于生成 6-DoF 姿势估计和相应 3D 模型的数据,还可扩展到对象检测、实例分割或任何类型对象的体积估计的自动数据集生成。
摘要:手臂、手和指尖的活动功能和感觉信息的丧失妨碍了患者的日常生活活动 (ADL)。现代仿生假手可以弥补失去的功能并实现多自由度 (DoF) 运动。然而,由于传感器有限和缺乏稳定的分类算法,市售的假手通常具有有限的自由度。本研究旨在提出一种通过表面肌电图 (sEMG) 估计手指关节角度的控制器。用于训练的 sEMG 数据是使用商用 EMG 传感器 Myo 臂带收集的。提取时域中的两个特征并将其输入到具有外生输入的非线性自回归模型 (NARX) 中。使用 Levenberg-Marquardt 算法对 NARX 模型进行预选参数训练。与目标相比,模型输出的回归相关系数 (R) 在所有测试对象中均大于 0.982,信号范围为 [0, 255] 的任意单位时均方误差小于 10.02。研究还表明,所提出的模型可用于日常生活运动,具有良好的准确性和泛化能力。