XiaoMi-AI文件搜索系统
World File Search SystemGrasp
g-hop：相互作用重建的生成性手动对象和掌握合成
和一个锅的不同）或意图（例如通过刀与使用它进行切割），我们人类可以毫不费力地描绘出与日常生活中日常物体的这种互动。在这项工作中，我们的目标是构建一个可以同样生成合理的手动配置的计算系统。具体来说，我们学习了一个基于扩散的常规模型，该模型捕获了3D相互作用期间手和对象的关节分布。给定一个类别的描述，例如“握着板的手”，我们的生成模型可以合成人手的相对配置和表达（见图1个顶部）。我们解决的一个关键问题是，该模型是什么好的HOI表示。通常通过空间（签名）距离场来描述对象形状，但人的手通常是通过由发音变量控制的参数网格建模的。我们提出了一个均匀的HOI表示，而不是在生成模型中对这些不同的代表进行建模，并表明这允许学习一个共同生成手和对象的3D扩散模型。除了能够合成各种合理的手和物体形状的综合外，我们的扩散模型还可以在跨任务的辅助推理之前作为通用，而这种表示是所需的输出。例如，重建或预测相互作用的问题对于旨在向人类学习的机器人或试图帮助他们的虚拟助手来说是核心重要性。重建的视频重新投影错误）或约束（例如我们考虑了这些行沿着这些行的两个经过深入研究的任务：i）从日常交互剪辑中重建3D手对象形状，ii）鉴于任意对象网格，合成了合理的人类grasps。为了利用学到的生成模型作为推论的先验，我们注意到我们的扩散模型允许在任何手动对象配置给定的（近似）log-likelihood梯度计算（近似）log-likelihoodhoodhood。我们将其纳入优化框架中，该框架结合了先前的基于可能性的指南与特定于任务的目标（例如已知对象网格的合成）推理。虽然理解手动相互作用是一个非常流行的研究领域，但现实世界中的数据集限制了3D中这种相互作用的限制仍然很少。因此，我们汇总了7种不同的现实世界交互数据集，从而导致157个对象类别的相互作用长期收集，并在这些范围内训练共享模型。据我们所知，我们的工作代表了第一个可以共同生成手和对象的生成模型，并且我们表明它允许综合跨类别的各种手动相互作用。此外，我们还经验评估了基于视频的重建和人类掌握合成的任务的先前指导的推断，并发现我们所学的先验可以帮助完成这两个任务，甚至可以改善特定于特定于任务的状态方法。
灵巧的抓紧变压器-CVF Open Access
在这项工作中，我们提出了一种新颖的歧视性框架，用于灵巧的掌握生成，称为d外部g rasp tr ansformer（dgtr），能够通过仅使用一个向前的通行方式处理对象点云来预测一组可行的抓握姿势。我们将敏捷的掌握生成作为设定的预测任务，并为其设计一个基于变压器的握把模型。但是，我们确定此设置的预测范式在灵活的掌握领域遇到了几种优化的挑战，并导致限制性能。为了解决这些问题，我们提出了培训和测试阶段的渐进策略。首先，提出了动态静态匹配训练（DSMT）策略，以增强训练阶段的光学稳定性。第二，我们使用一对对抗性损失来实现对抗平衡的测试时间适应（ABTTA），以提高测试阶段的掌握质量。dexgraspnet数据集的实验结果证明了DGTR可以预测具有高质量和多样性的灵活掌握姿势的能力。值得注意的是，在保持质量高的同时，DGTR Sigsigs所预测的Grasp的多样性明显优于先前的多个指标，而没有任何数据预处理。代码可在https://github.com/isee-laboratory/dgtr上找到。
保存的运动神经元可以控制机器人六指的控制
†同等贡献 *相应的作者隶属关系：1个生物医学工程的人工智能部门，弗里德里希 - 亚历山大 - 大学 - 埃尔兰根 - 纽伦伯格；德国埃尔兰根。2信息工程和数学系，UniversitàDegliStudi di Siena;意大利锡耶纳。 3 Querschnittzentrum Rummelsberg，Krankenhaus Rummelsberg GmbH；德国Schwarzenbruck。 *通讯作者。 电子邮件：Alessandro.del.vecchio@fau.de，dprattichizzo@unisi.it摘要：恢复手功能是四项运动员的最高优先事项之一。 然而，对于运动完全脊髓损伤的个体，当前恢复基本手动运动仍然有限。 在这项研究中，我们提出了一种非侵入性神经学界面，该界面直接转化了较低的运动神经元活动，该活动曾经编码手的开口和闭合到超级机器人机器人的第六指中。 我们重新启用了三个患有慢性（> 8年）的人完全宫颈脊髓损伤，以抓住对日常生活重要的物体，具有控制手指屈曲和扩展的相同神经输入。 经过几分钟的培训，参与者直观地调节了电动机单元的排放活动，从而控制了手势和关闭。 然后使用这些电动机单元按比例地控制机器人第六指。 所有参与者成功执行了各种掌握任务，这些任务需要数字上的相当大的力量，例如，通过拧开帽子打开瓶子。 这可以显着改善瘫痪者的生活质量。2信息工程和数学系，UniversitàDegliStudi di Siena;意大利锡耶纳。3 Querschnittzentrum Rummelsberg，Krankenhaus Rummelsberg GmbH；德国Schwarzenbruck。*通讯作者。电子邮件：Alessandro.del.vecchio@fau.de，dprattichizzo@unisi.it摘要：恢复手功能是四项运动员的最高优先事项之一。然而，对于运动完全脊髓损伤的个体，当前恢复基本手动运动仍然有限。在这项研究中，我们提出了一种非侵入性神经学界面，该界面直接转化了较低的运动神经元活动，该活动曾经编码手的开口和闭合到超级机器人机器人的第六指中。我们重新启用了三个患有慢性（> 8年）的人完全宫颈脊髓损伤，以抓住对日常生活重要的物体，具有控制手指屈曲和扩展的相同神经输入。经过几分钟的培训，参与者直观地调节了电动机单元的排放活动，从而控制了手势和关闭。然后使用这些电动机单元按比例地控制机器人第六指。所有参与者成功执行了各种掌握任务，这些任务需要数字上的相当大的力量，例如，通过拧开帽子打开瓶子。这可以显着改善瘫痪者的生活质量。我们的发现提出了协助手部功能的变革性步骤，提供了直观且非侵入性的神经合法界面，而无需学习新的运动技能，因为参与者使用与受伤前相同的运动命令。主文本：简介恢复手功能的关键重点是脊柱α运动神经元的活性，这是神经肌肉系统的最后电动途径。众所周知，即使被归类为完整的脊髓损伤（SCI）的个体，也可能保留1-4损伤高于损伤水平上方和之下的一些较不幸的神经连接。在先前涉及具有运动SCI的个体（八个具有C5-C6损伤水平的参与者）的研究中，我们证明了使用高密度表面肌电图（HDSEMG）通过非侵入性神经界面进行任务调节的运动单位，从而实现了手指运动的解码2。所有参与者在特定的电动机单位和
在线轨迹重新启动器，用于动态抓住不规则对象
摘要 - 本文提出了一种用于抓住不规则对象的新轨迹重新启动器。与常规的掌握任务不同，该任务简单地假定对象的几何形状，我们旨在实现不规则对象的“动态掌握”，这需要在握把过程中持续调整。为了有效处理不规则的对象，我们提出了一个构成两个阶段的轨迹优化框架。首先，在指定的时间限制为10 s的指定时间限制中，为从机器人的初始配置中进行无缝运动计算初始离线轨迹，以掌握对象并将其传递到预定义的目标位置。其次，实现了快速的在线轨迹优化，以在100毫秒内实时更新机器人轨迹。这有助于减轻视力系统中的估计错误。为了解释模型的不准确性，干扰和其他非模块化效果，实施了机器人和抓手的轨迹跟踪控制器，以从提出的框架中阐明最佳轨迹。密集的实验结果有效地证明了我们在模拟和现实世界中的轨迹计划框架的性能。
6-DOF闭环抓握，并进行加固学习
摘要 - 我们提出了一个基于深厚的增强学习（DRL）的基于新颖的6多型，6多的抓地框架，该框架能够直接合成笛卡尔空间中的连续6-DOF动作。我们所提出的方法使用了直觉的RGB-D摄像头的视觉观察，我们通过域随机化，图像增强和分割工具的结合来减轻SIM到真实的间隙。我们的方法包括一个非政策，最大渗透性，演员算法，该算法从二进制奖励和一些模拟示例grasps中学习了政策。它不需要任何现实世界的掌握示例，对模拟进行了完全训练，并且直接部署到现实世界中而没有任何微调。The efficacy o f o ur a pproach i s d emonstrated i n simulation and experimentally validated in the real world on 6-DoF grasping tasks, achieving state-of-the-art results of an 86% mean zero-shot success rate on previously unseen objects, an 85% mean zero-shot success rate on a class of previously unseen adversarial objects, and a 74.3% mean zero-shot success rate on a class of previously看不见，具有挑战性的“ 6-DOF”对象。可以在https://youtu.be/bwpf8imvook
口腔微生物群和阿尔茨海默氏病
摘要：本研究探讨了Tiago机器人对握把操作的配置的优化，重点是衰老。实际上，Tiago机器人可以方便地帮助残疾人，包括在国内和临床环境中有运动和认知障碍的人，可以方便地帮助残疾人。其功能包括使用立体声摄像机识别诸如面部或手势之类的视觉目标，以及通过声学传感器来解释声乐命令以执行任务。例如，机器人可以掌握和举起物体，例如一杯水，并自动导航以满足请求。本文介绍了在许多应用程序上下文中使用机器人的基础的位置和差异运动学。在当前情况下，它们用于评估机器人相对于指定姿势的运动学性能，以搜索相对于高阶不限限制的最佳配置。最终，本文提供了有关如何有效使用机器人在抓地操作中以及展示Tiago机器人的运动学模型的见解。
学习用交互式视觉失败预测掌握混乱中的
摘要 - 现代仓库处理数百万个独特的物体，这些物体通常存储在密集的容器中。为了在此环境中自动化任务，机器人必须能够从高度混乱的场景中挑选各种对象。现实世界学习是一种有前途的方法，但是在现实世界中执行选秀权是耗时的，可能会导致昂贵的失败，并且通常需要大量的人类干预，这会导致操作负担并限制数据收集和部署的范围。在这项工作中，我们利用交互式探针在不完全执行选片的情况下视觉评估杂物中的grasps，我们称为交互式视觉失败（IVFP）。这可以在执行过程中对GRASP的自主验证，以避免昂贵的下游失败以及自主奖励分配，从而提供监督以连续塑造并改善机器人在现实世界中的经验，而无需不断需要人类干预。通过在RESTARTH RE1机器人上进行实验，我们研究了IVFP对绩效的影响 - 无论是在有效的数据吞吐量和成功率方面，都表明这种方法会导致掌握单独接受人类监督的政策的政策，同时需要减少人为干预。代码，数据集和视频，请访问https://robo-ivfp.github.io
thinkgrasp：一种愿景语言系统，用于杂乱无章的战略部分抓住
摘要：由于阻塞和复杂的物体排列，机器人抓握在混乱的环境中仍然是一个重要的挑战。我们开发了ThinkGrasp，这是一种插件的视觉语言握把系统，它利用GPT-4O的高级上下文推理来实现沉重的混乱环境抓地策略。thinkGrasp可以通过使用面向目标的语言来指导去除阻塞物体的障碍物，可以有效地识别和产生目标对象的掌握姿势。这种方法可以从中揭示目标对象，并最终以几个步骤和高成功率掌握了目标对象。在模拟和真实的实验中，ThinkGrasp在沉重的混乱环境中或具有多种看不见的物体中取得了很高的成功率，并且表现出强大的概括能力。
spirobs：对数螺旋形机器人，用于跨音阶的多功能抓握Zhanchi Wang，1 Nikolaos M. Freris，1,3， *和XI Wei 2，** 1 School
spirobs：对数螺旋形机器人，用于遍及尺度的多功能抓握Zhanchi Wang，1 Nikolaos M. Freris，1,3， *和XI Wei 2，** 1计算机科学技术学院，中国科学技术大学，中国，Hefei，Anhui，Anhui，Prc，Prc，230026。2中国科学技术大学化学与材料科学学院，Hefei，Anhui，Prc，230026 3 Lead Contact *通信：nfr@ustc.edu.cn。 **通信：wxi@ustc.edu.cn。 总结实现具有生物学上可比灵活性和多功能性的软操作器通常需要仔细选择材料和驱动以及其结构，感知和控制的细心设计。 在这里，我们报告了一类新的软机器人（螺纹），该机器人在形态上复制了在自然附属物中观察到的对数螺旋模式（例如，章鱼臂，大象躯干等）。 这允许在不同尺度和快速廉价的制造过程中建立共同的设计原理。 我们进一步提出了一个受章鱼启发的抓斗策略，可以自动适应目标对象的大小和形状。 我们说明了螺旋罗的敏捷性，以及抓紧大小的物体的能力，其大小多于两个以上的数量级，并且自重的260倍。 我们通过另外三种变体演示可伸缩性：微型抓手（MM），一个长时间的操纵器和一系列可以纠结各种物体的螺旋体。 这些附件能够具有显着的运动复杂性，并提供各种重要功能，例如猎物捕获，运动，操纵和防御。2中国科学技术大学化学与材料科学学院，Hefei，Anhui，Prc，230026 3 Lead Contact *通信：nfr@ustc.edu.cn。**通信：wxi@ustc.edu.cn。总结实现具有生物学上可比灵活性和多功能性的软操作器通常需要仔细选择材料和驱动以及其结构，感知和控制的细心设计。在这里，我们报告了一类新的软机器人（螺纹），该机器人在形态上复制了在自然附属物中观察到的对数螺旋模式（例如，章鱼臂，大象躯干等）。这允许在不同尺度和快速廉价的制造过程中建立共同的设计原理。我们进一步提出了一个受章鱼启发的抓斗策略，可以自动适应目标对象的大小和形状。我们说明了螺旋罗的敏捷性，以及抓紧大小的物体的能力，其大小多于两个以上的数量级，并且自重的260倍。我们通过另外三种变体演示可伸缩性：微型抓手（MM），一个长时间的操纵器和一系列可以纠结各种物体的螺旋体。这些附件能够具有显着的运动复杂性，并提供各种重要功能，例如猎物捕获，运动，操纵和防御。关键字柔软的机器人，对数螺旋，多尺度设计，软机器人握把介绍某些动物具有细长，灵活的附属物，范围从海马长度的几厘米和Chameleons的前尾尾巴1,2到超过一米的章鱼臂和大量的off臂和大头臂和大头脑trunks trunk trunks trunks 3，4。通过利用软材料或合规机制5-7，这是设计和构建柔软连续操作器的灵感来源。尽管机器人已经成功地重现了此类机器人系统中的柔性变形，并且在处理脆弱或不规则形状的物体8，安全的人类机器人互动任务9-11，医疗应用12,13等方面表现出了巨大潜力，但生物学示例在脱氧和敏捷性方面仍然超过了特大工程。例如，大象树干可以包裹直径为3厘米的胡萝卜，而它也可以抓住和堆叠300千克的树桩，直径超过直径14。章鱼手臂可以伸出手，并在次秒时间尺度上捕获鱼。
在复杂包装工厂环境下进行精确抓握的新型机器人抓握框架（2024年9月）
抽象作为实际包装场景中的抓地力行为很容易受到各种干扰的影响，视觉抓握预测系统遭受了稳健性和检测准确性低的差。在这项研究中，已经提出了一个以线性全球注意机制为基础的智能机器人抓手框架（RTNET），以实现在实际包装工厂场景中实现高度稳健的机器人掌握的预测。首先，为了减少计算资源，在机器人抓握过程中已经开发了一种优化的线性注意机制。然后，已对本地窗口转换算法进行了调整，以收集功能信息，然后通过向上和下采样的层次设计集成全局功能。为了进一步改善开发的框架，可以通过减轻噪声干扰的能力，建立了一种自称的特征体系结构，以增强其强大的学习能力。此外，已经生成了真正的操作环境中的握把数据集（RealCornell），以实现对真实抓地力的过渡。为了评估所提出的模型的性能，在Cornell数据集，实核数据集和实际场景上对其掌握的预测进行了实验检查。结果表明，RTNET在Cornell数据集上的最大准确度为98.31％，在复杂的RealCornell数据集上达到了93.87％。在考虑实际包装情况下，所提出的模型还证明了在抓住检测方面的准确性和鲁棒性水平很高。综上所述，RTNET对包装行业的机器人握把的高级部署和实施提供了宝贵的见解。