XiaoMi-AI文件搜索系统
World File Search System灵巧的
灵巧的抓紧变压器-CVF Open Access
在这项工作中，我们提出了一种新颖的歧视性框架，用于灵巧的掌握生成，称为d外部g rasp tr ansformer（dgtr），能够通过仅使用一个向前的通行方式处理对象点云来预测一组可行的抓握姿势。我们将敏捷的掌握生成作为设定的预测任务，并为其设计一个基于变压器的握把模型。但是，我们确定此设置的预测范式在灵活的掌握领域遇到了几种优化的挑战，并导致限制性能。为了解决这些问题，我们提出了培训和测试阶段的渐进策略。首先，提出了动态静态匹配训练（DSMT）策略，以增强训练阶段的光学稳定性。第二，我们使用一对对抗性损失来实现对抗平衡的测试时间适应（ABTTA），以提高测试阶段的掌握质量。dexgraspnet数据集的实验结果证明了DGTR可以预测具有高质量和多样性的灵活掌握姿势的能力。值得注意的是，在保持质量高的同时，DGTR Sigsigs所预测的Grasp的多样性明显优于先前的多个指标，而没有任何数据预处理。代码可在https://github.com/isee-laboratory/dgtr上找到。
灵巧的手指力吸引VR接口
虚拟现实（VR）的进步减少了用户的经验不同。但是，现实与虚拟性之间的差距持续存在，这些任务需要以微妙的方式将用户的多模式物理技能与虚拟环境结合在一起。当物理性感觉不真实时，在VR EASILY中断中的用户实施例，尤其是当用户调用其天生的偏爱以触摸和操纵他们遇到的事物时。在这项研究中，我们研究了力量意识到的VR接口的潜力，可以使自然连接与用户物理学，并在高技能触摸案例中对其进行评估。将表面肌电图（SEMG）与视觉跟踪相结合，我们开发了一个基于端到端学习的系统，势力，从其前臂SEMG信号中解码用户的灵活的手指力，以直接在标准VR管道中使用。这种方法消除了对手持式触觉设备的需求，从而促进了自然实施。一系列有关VR中的操纵任务的用户研究，该势力比替代解决方案更准确，更健壮和直观。两个概念证明VR应用程序，书法和钢琴演奏，证明了Vi-Sual，听觉和触觉方式之间的良好协同作用，因为ForceSense提供了提高用户在VR中的任务学习表现的潜力。我们的源代码和受过训练的模型将在https：// github上发布。com/nyu-icl/vr-force-aware-multimodal-Interface。
通过人机交互实现机器人精确灵巧的操作......
强化学习 (RL) 在实现机器人自主习得复杂操作技能方面前景广阔，但在现实环境中实现这一潜力却充满挑战。我们提出了一个基于视觉的人机协同强化学习系统，该系统在一系列灵巧操作任务中展现出令人印象深刻的性能，包括动态操作、精密装配和双臂协调。我们的方法融合了演示和人工校正、高效的强化学习算法以及其他系统级设计选择，旨在学习在短短 1 到 2.5 小时的训练时间内即可实现近乎完美的成功率和快速循环时间的策略。我们证明，我们的方法显著优于模仿学习基线和先前的强化学习方法，平均成功率提高了 2 倍，执行速度提高了 1.8 倍。通过大量的实验和分析，我们深入了解了该方法的有效性，展示了它如何为反应式和预测式控制策略学习稳健且自适应的策略。我们的结果表明，强化学习确实能够在实际训练时间内直接在现实世界中学习各种基于视觉的复杂操作策略。我们希望这项工作能够激发新一代学习型机器人操作技术，促进工业应用和研究进步。视频和代码可在我们的项目网站 https://hil-serl.github.io/ 获取。
在开源灵巧的机器人手中向人类学习
摘要 - 用机器人手发出类似人类的灵活性一直是机器人技术的长期挑战。近年来，机器学习要求机器人手要可靠，便宜且易于制作。在过去的几年中，我们一直在研究如何满足这些要求。[1，2，2，3，4，5，6]我们将演示我们的三只机器人手来解决此问题，从易于仿真的手到柔软但坚固的灵巧的机器人手，执行三个不同的机器学习任务。我们的第一个机器学习任务将是远程运行，我们将开发一个新的移动手臂和手动捕获系统，我们将带给RSS 2024。第二，我们将演示如何使用人类视频和人类运动来教机器人手。最后，我们将展示如何在模拟和现实世界中使用强化学习不断改进这些政策。该演示将参与其中，将使灵巧的操纵脱颖而出，并激发研究人员将机器人手带入自己的项目。请访问我们的网站https://leaphand.com/rss2024demo，以获取更多交互式信息。
rp1m：用于钢琴的大型运动数据集，与双人灵巧的机器人手
摘要：将机器人手赋予人类水平的灵活性是一个长期的研究目标。bimanual机器人钢琴演奏构成了一项任务，该任务构成了动态任务所挑战的任务，例如快速产生同时精确的动作，并且较慢但触及率丰富的操纵问题。尽管基于强化的学习方法在单个任务中表现出了令人鼓舞的结果，但这些方法在多首歌的环境中挣扎。我们的作品旨在缩小这一差距，从而为机器人钢琴演奏而启用模仿学习方法。为此，我们介绍了100万（RP1M）数据集的机器人钢琴，其中包含比起一百万个轨迹的双人机器人钢琴弹奏运动数据。我们将手指放置作为最佳运输问题，因此可以自动注释大量未标记的歌曲。基准测试现有的模仿学习方法表明，这种方法通过利用Rp1m⋄来达到有希望的机器人钢琴弹奏性能。
dexgraspnet 2.0：在大规模合成的杂物场景中学习生成灵巧的抓握
摘要 - 由于数据稀缺，在混乱的场景中挖掘仍然是灵巧的手。为了解决这个问题，我们提出了一个大规模的合成数据集，包括1319个对象，8270个场景和4.26亿个格拉斯普斯。除了基准测试之外，我们还从掌握数据中探索了数据有效的学习策略。我们揭示了以局部特征为条件的生成模型和强调复杂场景变化的GRASP数据集的组合是实现有效概括的关键。我们提出的生成方法在模拟实验中优于所有基准。更重要的是，它通过测试时间深度恢复表明了零拍的SIM到现实转移，获得了90.70％的现实世界灵巧抓地力成功率，展示了利用完全合成训练数据的强大潜力。
muxhand：使用时间划分的多重电动机
摘要 - 机器人灵巧的手负责抓握和灵巧的操纵。电动机的数量直接影响了此类系统的敏捷性和成本。在本文中，我们提出了Muxhand，这是一种使用时间分割多路复用电动机（TDMM）机制的机器人手。该系统允许仅4电动机独立控制9条电缆，从而显着降低了成本，同时保持高敏度。为了提高抓握和操纵任务期间的稳定性和平滑度，我们将磁接头整合到了三个3D打印的手指中。这些关节具有出色的影响力和自我测量能力。我们进行了一系列实验，以评估Muxhand的抓握和操纵性能。结果表明，TDMM机制可以精确控制连接到手指接头的每个电缆，从而实现强大的抓握和灵活的操作。此外，指尖载荷能力达到1.0 kg，磁接头有效地吸收了冲击和校正未对准而不会损坏。
人类 - 装配任务的机器人技能转移
为机器人提供类似人类的物体操纵技能，对于改善制造自动化中的整体机器人性能至关重要。尽管大型制造公司的几乎每项任务都是自动化，复杂且非常灵巧的任务，例如约95％的汽车制造中的装配线流程仍是手工完成的。机器人可以通过反复试验学习和获取技能，但在没有指导的情况下掌握新技能是耗时和要求的。但是，由于人类和机器人之间固有的结构差异，从专家技术人员的明确示威中学习可能会面临挑战。
通过具体化实现远程操作增强
远程机器人技术旨在将人类的操作技能和灵巧性在任意距离和任意规模上转移到远程工作场所。透明的远程机器人系统可以实现自然而直观的交互。我们假设机器人系统的具身化（包括三个子组件：所有权、代理和自我定位）可实现最佳的感知透明度并提高任务性能。但是，这尚未得到直接研究。我们根据四个前提进行推理，并从文献中提出支持每个前提的发现：（1）大脑可以具身化非身体物体（例如，机器人手），（2）具身化可以通过介导的感觉运动交互来引发，（3）具身化对机器人系统和操作员身体之间的不一致具有鲁棒性，以及（4）具身化与灵巧的任务性能呈正相关。我们使用预测编码理论作为框架来解释和讨论文献中报告的结果。先前的大量研究表明，通过介导的感觉运动交互，可以在各种虚拟和真实的体外物体（包括假肢、化身和机器人）上诱导化身。此外，非人类形态也可以实现化身，包括细长的手臂和尾巴。根据预测编码理论，没有任何一种感觉方式对于建立所有权至关重要，多感官信号的差异不一定会导致化身的丧失。然而，多感官同步或视觉相似性方面的巨大差异可能会阻碍化身的发生。文献对化身和（灵巧的）任务表现之间的联系提供了较少的广泛支持。然而，用假手收集的数据确实表明了正相关性。我们得出结论，所有四个前提都得到了文献中的直接或间接证据的支持，这表明远程操纵器的化身可能会提高遥控机器人的灵巧表现。这值得进一步对遥控机器人中的化身进行实施测试。我们制定了第一套在远程机器人技术中应用具体化的指导方针，并确定了一些重要的研究课题。
机器人敏捷 - 处理我们的未来 - 计划论文
灵巧的操纵是广泛采用机器人技术的关键瓶颈。巧妙地操纵物体具有广泛属性的对象的能力将能够自动化各个部门的常规任务，如表1所述。这样的任务通常是针对人类工人的繁重的，范围从重复性和受伤到平凡而低薪的范围，并且经常发生在下水道，工厂，化学植物或回收设施等危险环境中。自动化这些任务有望通过提高经济生产力来重塑社会，同时释放人类以获得更多有意义的任务[1,2]。由于我们的人口老龄化和生产率较低，英国的好处在英国尤其很大。一项研究估计，英国仓库物流部门的机器人密度可能会从2020年的每百万小时每百万小时到2035年增长，从而增加了25％的劳动生产率[2]。