摘要本评论论文对重点介绍了机器人握把的挑战以及各种机器学习技术的有效性,尤其是那些利用深神经网络(DNNS)(DNN)和增强学习(RL)的挑战的全面分析。这篇评论的目的是通过在一个地方收集不同形式的深入学习(DRL)掌握任务来简化他人的研究过程。通过对文献的彻底分析,该研究强调了对机器人抓住的批判性质,以及DRL技术(尤其是软性批评(SAC)策略)如何在处理任务方面表现出很高的效率。这项研究的结果对机器人的更先进和有效的握把系统具有重要意义。在该领域进行的持续研究对于进一步增强机器人在处理复杂和挑战性任务(例如抓地力)方面的能力至关重要。
抽象作为实际包装场景中的抓地力行为很容易受到各种干扰的影响,视觉抓握预测系统遭受了稳健性和检测准确性低的差。在这项研究中,已经提出了一个以线性全球注意机制为基础的智能机器人抓手框架(RTNET),以实现在实际包装工厂场景中实现高度稳健的机器人掌握的预测。首先,为了减少计算资源,在机器人抓握过程中已经开发了一种优化的线性注意机制。然后,已对本地窗口转换算法进行了调整,以收集功能信息,然后通过向上和下采样的层次设计集成全局功能。为了进一步改善开发的框架,可以通过减轻噪声干扰的能力,建立了一种自称的特征体系结构,以增强其强大的学习能力。此外,已经生成了真正的操作环境中的握把数据集(RealCornell),以实现对真实抓地力的过渡。为了评估所提出的模型的性能,在Cornell数据集,实核数据集和实际场景上对其掌握的预测进行了实验检查。结果表明,RTNET在Cornell数据集上的最大准确度为98.31%,在复杂的RealCornell数据集上达到了93.87%。在考虑实际包装情况下,所提出的模型还证明了在抓住检测方面的准确性和鲁棒性水平很高。综上所述,RTNET对包装行业的机器人握把的高级部署和实施提供了宝贵的见解。
摘要 - 我们提出了一个基于深厚的增强学习(DRL)的基于新颖的6多型,6多的抓地框架,该框架能够直接合成笛卡尔空间中的连续6-DOF动作。我们所提出的方法使用了直觉的RGB-D摄像头的视觉观察,我们通过域随机化,图像增强和分割工具的结合来减轻SIM到真实的间隙。我们的方法包括一个非政策,最大渗透性,演员算法,该算法从二进制奖励和一些模拟示例grasps中学习了政策。它不需要任何现实世界的掌握示例,对模拟进行了完全训练,并且直接部署到现实世界中而没有任何微调。The efficacy o f o ur a pproach i s d emonstrated i n simulation and experimentally validated in the real world on 6-DoF grasping tasks, achieving state-of-the-art results of an 86% mean zero-shot success rate on previously unseen objects, an 85% mean zero-shot success rate on a class of previously unseen adversarial objects, and a 74.3% mean zero-shot success rate on a class of previously看不见,具有挑战性的“ 6-DOF”对象。可以在https://youtu.be/bwpf8imvook
图1:(a)我们提出了一种新方法,使热反馈设备能够提供逼真的温度感觉,同时仍允许用户抓住或踩到真实对象 - 不仅可以虚拟对象显示温度,但是用户也可以感觉到并掌握真实对象,例如道具。我们的方法与传统的热接口不同,其中将毛皮器设备应用于用户的手来使虚拟物体的温度呈现。不幸的是,将毛皮元件及其冷却单元(风扇和热量)直接连接到一个人的手掌,可防止用户也无法掌握真实的对象。同样,现有的热接口不能应用于脚底(因为需要踩在冷却单元上)。结果是现有的温度接口主要限于虚拟相互作用(免提,没有道具)。使用ThermalGrasp,(b)我们探索了一种灵活的热机构,该机构允许冷却单元从用户的手掌或鞋底移开,从而使它们能够掌握并踩踏物体。
摘要 - 面向任务的对象抓握和重排是机器人的关键技能,必须执行多功能的现实世界操纵任务。然而,由于对物体的部分观察并形成了分类对象的变化,它们仍然具有挑战性。在本文中,我们介绍了多元特征隐式模型(MIMO),这是一种新颖的对象表示,在隐式神经场中编码点和对象之间的多个空间特征。在多个特征上训练这样的模型可确保其始终如一地嵌入对象形状,从而改善其在对象形状中的性能,从部分观察,形状相似性度量和对象之间的空间关系进行建模。基于MIMO,我们提出了一个框架,以从单个或多个人类演示视频中学习面向任务的对象抓握和重排。仿真中的评估表明,我们的方法的表现优于多和单视图观察的最新方法。现实世界实验证明了我们方法在对操纵任务的单次模仿学习中的功效。
摘要 - 6D姿势估计方法的研究对于增强机器人感知和操纵能力至关重要,尤其是在复杂的环境中。最初,我们在凉亭仿真环境中采用了深对象姿势估计(DOPE)项目来识别和掌握对象。但是,在高度混乱或遮挡的场景中,涂料表现出差的性能。为了应对这些挑战,我们转向了一种更强大的方法,并彻底检查了其基本的纸张和代码。计算资源和时间的限制,我们专注于一个对象,并调整了参数以加快培训和评估过程。我们成功地训练了密集型模型,进行了评估,并可视化了结果。我们将修改模型的性能与官方密集型模型进行了比较,观察到,尽管我们的调整提高了速度和可行性,但官方模型在评估和可视化任务方面的准确性和鲁棒性方面的表现优于我们的表现。此比较强调了在实际应用中模型优化与性能之间的权衡。
在发布政策中指定了此版本的手稿的重复使用条款和条件。使用受版权保护的作品需要权利持有人(作者或出版商)的同意。可根据创意共享许可证或发布者的定制许可提供的作品可根据其中包含的条款和条件使用。有关更多信息和条款和条件,请参见编辑网站。此项目是从IrisUniversitàPolitecnicadelle Marche(https://iris.univpm.it)下载的。引用时,请参阅已发布的版本。
摘要——从大脑活动进行运动学解码有助于开发康复或增强功率的脑机接口设备。从非侵入性脑电图 (EEG) 记录的低频信号与用于运动轨迹解码 (MTD) 的神经运动相关性相关。在本通讯中,研究了从运动前 delta 波段 (0.5-3 Hz) EEG 解码运动运动轨迹的能力,适用于健康参与者。具体来说,提出了两个基于深度学习的神经解码器,称为 PreMovNet-I 和 PreMovNet-II,它们利用运动前 EEG 数据中存在的运动相关神经信息。为此,使用了运动开始前具有不同时间滞后的 150 毫秒、200 毫秒、250 毫秒、300 毫秒和 350 毫秒的 EEG 数据段。使用 EEG 为抓握和举起任务 (WAY-EEG-GAL 数据集) 呈现 MTD,并将各种滞后作为神经解码器的输入。将所提出的解码器的性能与最先进的多变量线性回归 (mLR) 模型进行比较。使用皮尔逊相关系数和手部轨迹作为性能指标。结果证明了使用运动前 EEG 数据解码 3D 手部运动学的可行性,从而能够更好地控制基于 BCI 的外部设备,例如外骨骼/外骨骼。
摘要 - 脑计算机界面(BCI)是一种实用的途径,可以通过解码电动机(ME)或电动图像(MI)来解释用户的意图(EEG)信号。但是,开发由我或MI驱动的BCI系统具有挑战性,尤其是在包含连续和复合肌肉运动的情况下。这项研究分析了ME和MI范式下的脑电图的三个抓手动作。我们还研究了植物和伪在线实验中的分类性能。我们提出了一种新的方法,该方法使用卷积神经网络(CNN)的肌肉活动模式(MAP)图像来提高分类精度。我们记录脑电图和肌电图(EMG)同时信号,并通过将两个信号解码为特定的手抓握来创建地图图像。结果,我们获得了ME的平均分类精度为63.6(±6.7)%,四个类别的所有1个受试者中的MI中获得了45.8(±4.4)%。此外,我们进行了伪在线实验,并获得了ME的分类精度,为60.5(±8.4)%,MI中的42.7(±6.8)%。提出的方法MAP-CNN,即使在伪在线实验中,也显示出稳定的分类性能。我们希望将来可以在各种BCI应用程序中使用MAP-CNN。关键字 - 脑 - 计算机接口,电机执行,运动图像,手抓握,脑电图,深度学习
1 技术创新研究所 (TII),阿布扎比,阿拉伯联合酋长国 2 比萨大学“E. Piaggio”研究中心,意大利比萨 3 利兹大学,计算机学院,利兹 LS2 9JT,英国 4 布里斯托大学工程学院工程数学系和布里斯托机器人实验室,布里斯托,英国 5 巴斯大学工程与设计学院电子电气工程系,巴斯,英国 6 本研究部分由英国工程与物理科学研究委员会根据 EP/V052659/1 号资助。 7 本研究部分由利华休姆研究领导奖“用于机器人触觉的仿生前脑”(RL-2016-39) 资助。 8 作者已确认,本研究中所有可识别的参与者均已同意发表。∗ 任何通讯均应寄给作者。