XiaoMi-AI文件搜索系统
World File Search SystemEmika
杰里迈亚·M·科霍利奇
机器人感知与学习实验室研究生 2020 年 6 月 - 至今 • 使用 Meta Quest 3 和 Franka Emika Panda 机器人设置 VR 遥控操作管道 • 在机器人演示中微调大型视觉语言模型以供操作 • 为模拟中的四足机器人开发和实施基于学习的新型规划和控制算法 • 实施用于可重复训练 RL 策略、多 GPU 策略评估和数据收集的管道
通过下文模仿学习通过下一步的预测-ICRT
摘要 - 我们探讨了如何启用机器人技术下文预测模型的文化学习能力，从而使模型可以通过使用人类的Teleop演示示例提示无需微调来执行新任务。我们提出了一种因果变压器（ICRT），该因果变压器对感觉运动轨迹进行自回旋预测，其中包括图像，本体感受态和动作。这种方法允许在测试时间灵活且无训练的新任务执行，这是通过提示模型的新任务轨迹来实现的。使用Franka Emika机器人进行的实验表明，即使在与提示和培训数据不同的环境配置中，ICRT也可以适应提示指定的新任务。在多任务环境设置中，ICRT在概括方面明显胜过当前最新的机器人基础模型，以看不见任务。代码，检查点和数据可在https://icrt.dev上找到。
基于点云对齐的藤蔓修剪的视觉伺服
摘要：本文使用机器人技术和基于视觉的反馈控制，解决了葡萄树修剪的挑战，这是农业中至关重要且艰苦的农业任务。由于3D姿势估计和特征提取方面的挑战，藤蔓的复杂结构使视觉致密暗销。是基于迭代最接近点（ICP）点云对准和基于位置的视觉伺服伺服（PBV）的组合，提出了一种基于视觉的藤蔓修剪的新方法。在藤蔓修剪的PBV中比较了四个ICP变体：标准ICP，Levenberg – Marquardt ICP，点对平面ICP和对称ICP。该方法包括一个专用的ICP初始猜测，以提高对齐速度和准确性，以及在修剪位置生成参考点云的过程。实时实验是在配备了立体相机的Franka Emika操纵器上进行的，涉及在实验室条件下的三个真实葡萄藤。
Trope Hcraese付费-IDIAP出版物
摘要 - 在这项工作中，我们提出了一种新的方法，将机器人几何形状表示为距离场（RDF），该方法将签名距离场（SDF）的原理扩展到铰接的运动链。我们的方法采用了伯恩斯坦多项式的组合，以高精度和效率编码每个机器人链路的签名距离，同时确保SDF的数学连续性和不同性。我们进一步利用机器人的运动学链来在关节空间中产生SDF表示，从而允许以任意关节配置进行稳健的距离查询。提议的RDF表示在任务和关节空间中都是可区分和平滑的，使其直接集成到优化问题。此外，机器人的0级集合对应于机器人表面，可以将其无缝整合到全身操纵任务中。我们在模拟和7轴Franka Emika机器人中进行了各种经验，与基线方法进行了比较，并证明了其在避免碰撞和全身操纵任务方面的效率。项目页面：https：//sites.google.com/view/lrdf/home
将机器人几何形状表示为距离字段
摘要 - 在这项工作中，我们提出了一种新的方法，将机器人几何形状表示为距离场（RDF），该方法将签名距离场（SDF）的原理扩展到铰接的运动链。我们的方法采用了伯恩斯坦多项式的组合，以高精度和效率编码每个机器人链路的签名距离，同时确保SDF的数学连续性和不同性。我们进一步利用机器人的运动学链来在关节空间中产生SDF表示，从而允许以任意关节配置进行稳健的距离查询。提议的RDF表示在任务和关节空间中都是可区分和平滑的，使其直接集成到优化问题。此外，机器人的0级集合对应于机器人表面，可以将其无缝整合到全身操纵任务中。我们在模拟和7轴Franka Emika机器人中进行了各种经验，与基线方法进行了比较，并证明了其在避免碰撞和全身操纵任务方面的效率。项目页面：https：//sites.google.com/view/lrdf/home
使用视觉和重新定位操作的机器人操纵器的基于NERF的对象模型的不确定性感知到主动学习
摘要 - 操纵看不见的对象在没有3D表示的情况下具有挑战性，因为对象通常具有遮挡的表面。这需要与对象的物理互动以构建其内部表示形式。本文提出了一种方法，该方法使机器人能够快速学习给定对象的完整3D模型，以在不熟悉的方向上进行操作。我们使用部分构造的NERF模型的集合来量化模型不确定性，以通过优化信息性和可行性来确定下一个动作（视觉或重新定位动作）。此外，我们的方法决定了何时以及如何掌握和重新定位对象的部分NERF模型，并重新估计对象姿势以纠正交互期间引入的未对准。在带有基准对象的桌面环境中运行的模拟Franka Emika机器人操作器进行的实验表明，视觉重建质量（PSNR）的14％，（ii）20％的几何/深度/深度重建对象表面（f-得分）和（iii）71％在（iii）71％的成功对象率是一定的，该任务范围是A的任务范围，即一定的一定范围。场景中的配置；超过当前方法。其他详细信息显示在以下网址：https：//actnerf.github.io/。
可变阻抗控制的数据有效增强学习
抽象在机器人中实现类似人类的操纵技巧的最关键步骤之一是将合规性纳入机器人控制器中。合规性不仅使机器人的行为安全，而且使其更有效。在这个方向上，可变阻抗控制（VIC）方法为机器人提供了一个框架，以通过采用适应性阻抗法来适应其在执行过程中的合规性。尽管如此，按任务要求的自主调整合规性概况仍然是一个具有挑战性的问题，可以在实践中解决。在这项工作中，我们引入了一种加强学习（RL）的方法，称为DEVILC（数据效率可变阻抗学习控制器），以通过机器人的实际交互来学习可变阻抗控制器。更具体地说，我们使用一种基于模型的RL方法，在每次相互作用之后，机器人迭代地使用高斯过程回归模型学习了其动力学的概率模型。然后，该模型被用来优化调节机器人阻抗的神经网络政策，以使对任务的长期奖励最大化。多亏了基于模型的RL框架，Devilc允许机器人仅通过一些交互学习VIC策略，从而使其对现实世界应用程序实用。在模拟和实验中，我们在Franka Emika Panda机器人操纵器上评估Devilc，以在笛卡尔空间中的不同操纵任务。结果表明，Devilc是通过互动直接在现实世界中自主学习合规技巧的有希望的方向。链接中提供了一个实验的视频：https：//youtu.be/_uyr0vye5no。
焦点-Then-decide：分割辅助加固学习
视觉增强学习（RL）是实现人类智力的有前途的方法。但是，它目前在嘈杂的环境中有效地学习面临挑战。相比之下，人类可以通过应用以前获得的常识来迅速识别到分散注意力的环境中的与任务相关的观察。最近，自然语言处理和计算机视觉中的基础模式取得了巨大的成功，这些模型中的常识可以显着使下游任务培训受益。受这些成就的启发，我们旨在将基础模型的常识不足为视觉RL。我们提出了一种新颖的效果（FTD）框架，使代理可以仅基于与任务相关的对象做出决策。为了实现这一目标，我们引入了一种努力机制，以从基础细分模型返回的对象集中选择与任务相关的对象，仅使用与任务相关的对象进行决策模块的后续培训。此外，我们专门采用了两个通用的自我监督目标来促进这种注意机制的快速学习。基于DeepMind Control Suite和Franka Emika机器人技术的CHALENGING任务的实验结果表明，我们的方法可以快速，准确地在嘈杂的环境中准确指出感兴趣的对象。因此，它对当前的最新算法实现了重大的性能提高。项目页面：https：//www.lamda.nju.edu.edu.cn/chenc/ftd.html代码：https：//github.com/lamda-rl/ftd
转移可概括机器人操纵的基础模型
改善现实世界中通用机器人操纵的概括能力长期以来一直是一个重大挑战。现有的方法通常依赖于收集大规模机器人数据，这些机器人数据是昂贵且耗时的。但是，由于数据的多样性不足，他们通常会限制其在开放域中的能力，并具有新的对象和不同的环境。在本文中，我们提出了一种新颖的范式，该范式有效地利用了由Internet规模的基础模型生成的语言分割掩码，以调节机器人操纵任务。通过将蒙版模态整合到源自视觉基础模型的语义，几何和时间相关先验中，并将其方法呈现为端到端的策略模型，我们的方法可以有效地感知的对象姿势并启用样本有效的概括性学习，包括新的对象，包括新的对象，包括新的对象，semantic intancics，Semantic类别，语义类别，和统一的背景。我们首先引入了一系列基础模型，以跨多个任务进行基础语言需求。其次，我们基于模仿学习开发了一个两流2D策略模型，该模型可以处理原始图像和对象掩码，以以局部 - 全球知觉方式预测机器人动作。在Franka Emika机器人和低成本双臂机器人上进行的广泛的现实世界实验证明了我们提出的范式和政策的有效性。可以在link1或link2中找到演示，我们的代码将在https://github.com/mcg-nju/tpm上发布。
对手工引导手术机器人的入学控制器的定性和定量评估
许多手术任务需要总刀具运动，其中工具的移动和定位在宏观尺度（约1厘米）的精度上；例如，将工具插入套筒，交换工具，清洁工具。也存在主要需要这种宏观动作的程序，例如，将安装在机器人上的超声扫描仪移动[1]和牙齿辅助[2]。传统的手术机器人，例如DA Vinci手术系统（Intuitive Surgical，USA），不可用的背态被动被动机制作为工具持有人，并允许外科医生将工具固定。这样的被动机器人可以限制外科医生使其简单而准确的总工具移动的能力，尤其是对于沉重而笨重的工具。作为替代方案，更新的特定和通用宏机器人使用主动的串行机器人和控制器，使外科医生可以手工指导工具。例如，Mako Robot-Arms（美国Stryker）进行膝盖手术，允许手动引导并限制外科医生沿预先计划的手术路径的运动，以确保安全性和准确性。除了这种干预特定的机器人之外，市场上还有通用医学宏观机器人，可以安全的物理人类机器人互动（PHRI），例如，Kuka LBR IIWA Med（Kuka ag ag，kuka ag，德国奥格斯堡，德国）。可以在此类机器人上安装不同的工具；例如，在Laserosteothome [3]中，使用超声扫描[1]和放射治疗[4]。但是，其他针对PHRI安全的宏机器人也用于外科应用研究中；例如，熊猫（德国弗兰卡·埃米卡（Franka Emika））进行牙科辅助[2]和中耳手术[5]或UR 5（UR 5（UNI-VERSAL ROBOTS，丹麦））进行针插入[6]。