XiaoMi-AI文件搜索系统
World File Search System灵巧的
灵巧的抓紧变压器-CVF Open Access
在这项工作中，我们提出了一种新颖的歧视性框架，用于灵巧的掌握生成，称为d外部g rasp tr ansformer（dgtr），能够通过仅使用一个向前的通行方式处理对象点云来预测一组可行的抓握姿势。我们将敏捷的掌握生成作为设定的预测任务，并为其设计一个基于变压器的握把模型。但是，我们确定此设置的预测范式在灵活的掌握领域遇到了几种优化的挑战，并导致限制性能。为了解决这些问题，我们提出了培训和测试阶段的渐进策略。首先，提出了动态静态匹配训练（DSMT）策略，以增强训练阶段的光学稳定性。第二，我们使用一对对抗性损失来实现对抗平衡的测试时间适应（ABTTA），以提高测试阶段的掌握质量。dexgraspnet数据集的实验结果证明了DGTR可以预测具有高质量和多样性的灵活掌握姿势的能力。值得注意的是，在保持质量高的同时，DGTR Sigsigs所预测的Grasp的多样性明显优于先前的多个指标，而没有任何数据预处理。代码可在https://github.com/isee-laboratory/dgtr上找到。
通过人机交互实现机器人精确灵巧的操作......
强化学习 (RL) 在实现机器人自主习得复杂操作技能方面前景广阔，但在现实环境中实现这一潜力却充满挑战。我们提出了一个基于视觉的人机协同强化学习系统，该系统在一系列灵巧操作任务中展现出令人印象深刻的性能，包括动态操作、精密装配和双臂协调。我们的方法融合了演示和人工校正、高效的强化学习算法以及其他系统级设计选择，旨在学习在短短 1 到 2.5 小时的训练时间内即可实现近乎完美的成功率和快速循环时间的策略。我们证明，我们的方法显著优于模仿学习基线和先前的强化学习方法，平均成功率提高了 2 倍，执行速度提高了 1.8 倍。通过大量的实验和分析，我们深入了解了该方法的有效性，展示了它如何为反应式和预测式控制策略学习稳健且自适应的策略。我们的结果表明，强化学习确实能够在实际训练时间内直接在现实世界中学习各种基于视觉的复杂操作策略。我们希望这项工作能够激发新一代学习型机器人操作技术，促进工业应用和研究进步。视频和代码可在我们的项目网站 https://hil-serl.github.io/ 获取。
rp1m：用于钢琴的大型运动数据集，与双人灵巧的机器人手
摘要：将机器人手赋予人类水平的灵活性是一个长期的研究目标。bimanual机器人钢琴演奏构成了一项任务，该任务构成了动态任务所挑战的任务，例如快速产生同时精确的动作，并且较慢但触及率丰富的操纵问题。尽管基于强化的学习方法在单个任务中表现出了令人鼓舞的结果，但这些方法在多首歌的环境中挣扎。我们的作品旨在缩小这一差距，从而为机器人钢琴演奏而启用模仿学习方法。为此，我们介绍了100万（RP1M）数据集的机器人钢琴，其中包含比起一百万个轨迹的双人机器人钢琴弹奏运动数据。我们将手指放置作为最佳运输问题，因此可以自动注释大量未标记的歌曲。基准测试现有的模仿学习方法表明，这种方法通过利用Rp1m⋄来达到有希望的机器人钢琴弹奏性能。
灵巧的手指力吸引VR接口
虚拟现实（VR）的进步减少了用户的经验不同。但是，现实与虚拟性之间的差距持续存在，这些任务需要以微妙的方式将用户的多模式物理技能与虚拟环境结合在一起。当物理性感觉不真实时，在VR EASILY中断中的用户实施例，尤其是当用户调用其天生的偏爱以触摸和操纵他们遇到的事物时。在这项研究中，我们研究了力量意识到的VR接口的潜力，可以使自然连接与用户物理学，并在高技能触摸案例中对其进行评估。将表面肌电图（SEMG）与视觉跟踪相结合，我们开发了一个基于端到端学习的系统，势力，从其前臂SEMG信号中解码用户的灵活的手指力，以直接在标准VR管道中使用。这种方法消除了对手持式触觉设备的需求，从而促进了自然实施。一系列有关VR中的操纵任务的用户研究，该势力比替代解决方案更准确，更健壮和直观。两个概念证明VR应用程序，书法和钢琴演奏，证明了Vi-Sual，听觉和触觉方式之间的良好协同作用，因为ForceSense提供了提高用户在VR中的任务学习表现的潜力。我们的源代码和受过训练的模型将在https：// github上发布。com/nyu-icl/vr-force-aware-multimodal-Interface。
dexgraspnet 2.0：在大规模合成的杂物场景中学习生成灵巧的抓握
摘要 - 由于数据稀缺，在混乱的场景中挖掘仍然是灵巧的手。为了解决这个问题，我们提出了一个大规模的合成数据集，包括1319个对象，8270个场景和4.26亿个格拉斯普斯。除了基准测试之外，我们还从掌握数据中探索了数据有效的学习策略。我们揭示了以局部特征为条件的生成模型和强调复杂场景变化的GRASP数据集的组合是实现有效概括的关键。我们提出的生成方法在模拟实验中优于所有基准。更重要的是，它通过测试时间深度恢复表明了零拍的SIM到现实转移，获得了90.70％的现实世界灵巧抓地力成功率，展示了利用完全合成训练数据的强大潜力。
在开源灵巧的机器人手中向人类学习
摘要 - 用机器人手发出类似人类的灵活性一直是机器人技术的长期挑战。近年来，机器学习要求机器人手要可靠，便宜且易于制作。在过去的几年中，我们一直在研究如何满足这些要求。[1，2，2，3，4，5，6]我们将演示我们的三只机器人手来解决此问题，从易于仿真的手到柔软但坚固的灵巧的机器人手，执行三个不同的机器学习任务。我们的第一个机器学习任务将是远程运行，我们将开发一个新的移动手臂和手动捕获系统，我们将带给RSS 2024。第二，我们将演示如何使用人类视频和人类运动来教机器人手。最后，我们将展示如何在模拟和现实世界中使用强化学习不断改进这些政策。该演示将参与其中，将使灵巧的操纵脱颖而出，并激发研究人员将机器人手带入自己的项目。请访问我们的网站https://leaphand.com/rss2024demo，以获取更多交互式信息。