XiaoMi-AI文件搜索系统
World File Search SystemDexter
rp1m：用于钢琴的大型运动数据集，与双人灵巧的机器人手
摘要：将机器人手赋予人类水平的灵活性是一个长期的研究目标。bimanual机器人钢琴演奏构成了一项任务，该任务构成了动态任务所挑战的任务，例如快速产生同时精确的动作，并且较慢但触及率丰富的操纵问题。尽管基于强化的学习方法在单个任务中表现出了令人鼓舞的结果，但这些方法在多首歌的环境中挣扎。我们的作品旨在缩小这一差距，从而为机器人钢琴演奏而启用模仿学习方法。为此，我们介绍了100万（RP1M）数据集的机器人钢琴，其中包含比起一百万个轨迹的双人机器人钢琴弹奏运动数据。我们将手指放置作为最佳运输问题，因此可以自动注释大量未标记的歌曲。基准测试现有的模仿学习方法表明，这种方法通过利用Rp1m⋄来达到有希望的机器人钢琴弹奏性能。
MoDex：通过学习神经手模型规划高维灵巧控制
摘要 — 在高维动作空间中控制双手一直是一个长期挑战，但人类天生就能轻松地完成灵巧的任务。在本文中，我们从人类具身认知中汲取灵感，重新将灵巧手视为可学习的系统。具体来说，我们介绍了 MoDex，这是一个采用神经手部模型来捕捉手部运动动态特征的框架。基于该模型，开发了一种双向规划方法，该方法在训练和推理方面都表现出了很高的效率。该方法进一步与大型语言模型相结合，以生成各种手势，例如“剪刀手”和“摇滚乐”。此外，我们表明，将系统动力学分解为预训练手部模型和外部模型可以提高数据效率，理论分析和实证实验都支持这一点。更多可视化结果可在 https://tongwu19.github.io/MoDex 获取。
muxhand：使用时间划分的多重电动机
摘要 - 机器人灵巧的手负责抓握和灵巧的操纵。电动机的数量直接影响了此类系统的敏捷性和成本。在本文中，我们提出了Muxhand，这是一种使用时间分割多路复用电动机（TDMM）机制的机器人手。该系统允许仅4电动机独立控制9条电缆，从而显着降低了成本，同时保持高敏度。为了提高抓握和操纵任务期间的稳定性和平滑度，我们将磁接头整合到了三个3D打印的手指中。这些关节具有出色的影响力和自我测量能力。我们进行了一系列实验，以评估Muxhand的抓握和操纵性能。结果表明，TDMM机制可以精确控制连接到手指接头的每个电缆，从而实现强大的抓握和灵活的操作。此外，指尖载荷能力达到1.0 kg，磁接头有效地吸收了冲击和校正未对准而不会损坏。
使用具有触觉传感的灵巧手指的可变形线性对象
摘要 - 关于可变形线性对象（DLO）操纵的大多数研究都假定刚性抓握。然而，除了刚性的抓握和重新抓紧之外，在掌握的范围之外，人类也是人类使用敏捷操纵DLOS的重要技能，它需要通过握住DLO来防止其掉落的同时通过手动滑动来连续更改抓握点。在没有使用专门设计但不是多功能的最终效果的情况下，实现这种技能对于机器人来说非常具有挑战性。以前的作品尝试使用通用的平行抓地力，但是由于关注和持有之间的冲突，它们的稳健性并不令人满意，这很难与一级自由的抓手保持平衡。在这项工作中，受到人类如何使用手指跟随DLOS的启发，我们探索了具有触觉感知的通用灵巧的手的用法，以模仿人类的技能并获得强大的DLO跟随。为了使硬件系统能够在现实世界中运行，我们开发了一个框架，其中包括笛卡尔空间手臂控制，基于触觉的In-Hand-hand 3-D DLO姿势估计以及特定于任务的运动设计。实验结果证明了我们方法比使用平行抓手的显着优势，以及它的稳健性，可推广性和效率。
使用有限的演示
深度强化学习（DEEP RL）最近取得了重大进步，使代理可以直接从高维图像像素直接处理视频游戏，运动和操纵等复杂任务。尽管取得了这些成功，Deep RL通常依赖于特定领域的奖励功能，这些奖励功能需要专家知识。在本文中，我们提出了一种目标条件的视觉RL方法，该方法可以使用目标图像和有限的演示来有效地学习灵巧的对象操纵，而无需依赖于域特异性的密集奖励功能。我们的方法利用了有限的演示来预先培训策略，然后通过在策划和在线互动数据之间进行平衡采样来对其进行处理。在线相互作用期间，它用目标图像和VIP模型产生的目标条件奖励代替了人类指定的密集奖励功能。实验结果表明，即使在稀疏或没有奖励的环境中，我们的方法在敏捷的物体操纵任务中达到了较高的样品效率。
灵巧的手指力吸引VR接口
虚拟现实（VR）的进步减少了用户的经验不同。但是，现实与虚拟性之间的差距持续存在，这些任务需要以微妙的方式将用户的多模式物理技能与虚拟环境结合在一起。当物理性感觉不真实时，在VR EASILY中断中的用户实施例，尤其是当用户调用其天生的偏爱以触摸和操纵他们遇到的事物时。在这项研究中，我们研究了力量意识到的VR接口的潜力，可以使自然连接与用户物理学，并在高技能触摸案例中对其进行评估。将表面肌电图（SEMG）与视觉跟踪相结合，我们开发了一个基于端到端学习的系统，势力，从其前臂SEMG信号中解码用户的灵活的手指力，以直接在标准VR管道中使用。这种方法消除了对手持式触觉设备的需求，从而促进了自然实施。一系列有关VR中的操纵任务的用户研究，该势力比替代解决方案更准确，更健壮和直观。两个概念证明VR应用程序，书法和钢琴演奏，证明了Vi-Sual，听觉和触觉方式之间的良好协同作用，因为ForceSense提供了提高用户在VR中的任务学习表现的潜力。我们的源代码和受过训练的模型将在https：// github上发布。com/nyu-icl/vr-force-aware-multimodal-Interface。
dexgraspnet 2.0：在大规模合成的杂物场景中学习生成灵巧的抓握
摘要 - 由于数据稀缺，在混乱的场景中挖掘仍然是灵巧的手。为了解决这个问题，我们提出了一个大规模的合成数据集，包括1319个对象，8270个场景和4.26亿个格拉斯普斯。除了基准测试之外，我们还从掌握数据中探索了数据有效的学习策略。我们揭示了以局部特征为条件的生成模型和强调复杂场景变化的GRASP数据集的组合是实现有效概括的关键。我们提出的生成方法在模拟实验中优于所有基准。更重要的是，它通过测试时间深度恢复表明了零拍的SIM到现实转移，获得了90.70％的现实世界灵巧抓地力成功率，展示了利用完全合成训练数据的强大潜力。
Leap Hand V2：灵巧，低成本的拟人化杂交刚性刚性软手，用于机器人学习
摘要 - 人类的手是生物学的非凡壮举，具有许多关节和肌肉的同时，具有出色的多功能性和精度。它使我们能够以极大的力量处理复杂的工具。然而，它保留了柔软，安全且屈服于精致物体的性质。强大的强度和柔和的合规性融合使其成为无与伦比的操纵仪器。但是，试图模拟这一点的机器人之手通常属于两个类别之一：软或刚性。柔软的手，虽然符合性和安全性缺乏人类手的精度和力量。相反，虽然刚性机器人的手可以与人体的精确性和力量相匹配，但它们是脆弱的，不符合其环境。我们提出的解决方案是建立一个机器人手，弥合这两个类别之间的差距。我们称此手DLA手，一种灵巧的，$ 3000，简单的拟人化软手，非常灵巧且多才多艺。首先，它通过3D打印的软外部与3D打印的内部骨结构相结合，达到了人体手状的柔软度和刚度的平衡。接下来，DLA手在可折叠的棕榈中结合了两个动力的表达：一个横跨四个手指，另一只手指靠近拇指，模仿了类似人类的握把的基本棕榈灵活性。最后，DLA
机器人敏捷 - 处理我们的未来 - 计划论文
灵巧的操纵是广泛采用机器人技术的关键瓶颈。巧妙地操纵物体具有广泛属性的对象的能力将能够自动化各个部门的常规任务，如表1所述。这样的任务通常是针对人类工人的繁重的，范围从重复性和受伤到平凡而低薪的范围，并且经常发生在下水道，工厂，化学植物或回收设施等危险环境中。自动化这些任务有望通过提高经济生产力来重塑社会，同时释放人类以获得更多有意义的任务[1,2]。由于我们的人口老龄化和生产率较低，英国的好处在英国尤其很大。一项研究估计，英国仓库物流部门的机器人密度可能会从2020年的每百万小时每百万小时到2035年增长，从而增加了25％的劳动生产率[2]。
在开源灵巧的机器人手中向人类学习
摘要 - 用机器人手发出类似人类的灵活性一直是机器人技术的长期挑战。近年来，机器学习要求机器人手要可靠，便宜且易于制作。在过去的几年中，我们一直在研究如何满足这些要求。[1，2，2，3，4，5，6]我们将演示我们的三只机器人手来解决此问题，从易于仿真的手到柔软但坚固的灵巧的机器人手，执行三个不同的机器学习任务。我们的第一个机器学习任务将是远程运行，我们将开发一个新的移动手臂和手动捕获系统，我们将带给RSS 2024。第二，我们将演示如何使用人类视频和人类运动来教机器人手。最后，我们将展示如何在模拟和现实世界中使用强化学习不断改进这些政策。该演示将参与其中，将使灵巧的操纵脱颖而出，并激发研究人员将机器人手带入自己的项目。请访问我们的网站https://leaphand.com/rss2024demo，以获取更多交互式信息。