XiaoMi-AI文件搜索系统
World File Search SystemOmniH2O
![arxiv：2406.08858v1 [CS.RO] 2024年6月13日-Omnih2o](/simg/d\dc505b50ac9d6d51ceb6b1d54938a6a7a50b5116.webp)
arxiv：2406.08858v1 [CS.RO] 2024年6月13日-Omnih2o
摘要：我们介绍Omnih2O（Omni人类与人类），这是一种基于学习的全身类人体近亲和自治的系统。使用运动学姿势作为通用控制界面，Omnih2O为Human提供了各种方法，可以用灵敏的手控制全尺寸的类人，包括通过VR耳机，口头指导和RGB摄像机使用实时近距离。om-nih2o还可以通过从远程手术示范中学习或与诸如GPT-4O等边境模型集成来实现完全的自主权。OmniH2O通过远程操作或自治，在各种现实世界中的全身任务中展示了敏捷性和敏捷性，例如从事多种运动，运动和操纵对象以及与人类互动，如图1所示。我们开发了基于RL的SIM到运行管道，该管道涉及大规模的重新定位和增强人类运动数据集，通过模仿特权教师政策，并奖励设计，以稀疏的传感器输入来学习真实的可部署政策，并奖励设计，以增强ro- bubsness和稳定性和稳定性。我们发布了第一个类人动物全身控制数据集，OmniH2O-6，包含六个日常任务，并从远程处理数据集中展示了类人动物全身技能。
Tairan He
CONFERENCE PROCEEDiNGS [C15] HOVER: Versatile Neural Whole‑Body Controller for Humanoid Robots.Tairan He*, WenliXiao*, ToruLin, ZhengyiLuo, ZhenjiaXu, ZhenyuJiang, JanKautz, ChangliuLiu, GuanyaShi, Xiaolong Wang, Linxi “Jim” Fan † , Yuke Zhu † ICRA , 2025 [Paper] [C14] OmniH2O: Universal and Dexterous Human‑to‑Humanoid Whole‑Body Teleoperation and Learning.Tairan He*, Zhengyi Luo*, Xialin He*, Wenli Xiao, Chong Zhang, Kris Kitani, Weinan Zhang, Changliu Liu, Guanya Shi.CoRL , 2024 [Paper] [C13] WoCoCo: Learning Whole‑Body Humanoid Control with Sequential Contacts.Chong Zhang*, Wenli Xiao*, Tairan He, Guanya Shi.CoRL ( Oral ), 2024 [Paper] [C12] Learning Human‑to‑Humanoid Real‑Time Whole‑Body Teleoperation.Tairan He*, Zhengyi Luo*, Wenli Xiao, Chong Zhang, Kris Kitani, Changliu Liu, Guanya Shi IROS , 2024 ( Oral ) [Paper] [C11] Progressive Adaptive Chance‑Constrained Safeguards for Reinforcement Learning.Zhaorun Chen, Binhao Chen, Tairan He, Liang Gong, Chengliang Liu.IROS , 2024 [Paper] [C10] Agile But Safe: Learning Collision‑Free High‑Speed Legged Locomotion.Tairan He*, Chong Zhang*, Wenli Xiao, Guanqi He, Changliu Liu, Guanya Shi.RSS , 2024 ( Outstanding Student Paper Award Finalist ‑ Top 3 ) [Paper] [C9] Safe Deep Policy Adaptation.Wenli Xiao*, Tairan He*, John Dolan, Guanya Shi.ICRA , 2024 [Paper] [C8] State‑wise Safe Reinforcement Learning: A Survey.Weiye Zhao, Tairan He, Rui Chen, Tianhao Wei, Changliu Liu.IJCAI (Survey Track) , 2023.[Paper] [C7] Probabilistic Safeguard for Reinforcement Learning Using Safety Index Guided Gaussian Process Models.
高级表达类人动物全身控制
类人机器人具有与Humans相似的形态，具有执行人类在日常生活中可以完成的各种任务和动作的潜力。，由于高维状态空间和控制性的综合性，发展具有人类类似人类的行为，从而限制了其现实世界的应用仍然具有挑战性。随着大规模Human运动数据集的可用性不断增长[4，45]，一种解决这一挑战的实用方法是通过跟踪和模仿人类动作来复制多功能运动[8，20，23，24]。但是，在考虑硬件时，人形机器人和人类仍然完全不同，这阻碍了机器人完全复制人类运动的能力。这提出了一个令人信服的研究问题：鉴于它们的身体局限性，我们如何在保持其稳定性和稳健性的同时，追求人形机器人的表现力，类人类的能力？在本文中，我们引入了先进的表达全身控制（Exbody 2），这是一个有效的框架，可最大程度地揭示人形机器人对可行的全身运动的表现力。该框架属于SIM2REAL管道，该政策将采用参考运动运动作为输入，并输出控制真实类人动物以在现实世界中进行运动的动作。我们培训一项单一的政策，该政策跨越了不同的输入信息。我们确定了四种技术设计以实现这一目标：（i）构建可行且多样化的培训数据集。一些作品通过完善数据集解决了这一点。我们系统地分析数据集人类运动数据集（如Amass [45]）通常包含超出机器人物理帽的复杂运动，从而使跟踪过于挑战和降低表现。前[8]，例如，通过模棱两可的描述（例如“舞蹈”）仍然可以包含不合适的动作，从而滤除了使用语言标签的不可行动作。其他AP-PARACHES，例如H2O [24]和OmniH2O [24]，采用SMPL模型来模拟虚拟类人动物并滤除复杂运动。但是，SMPL化身可以执行真正的机器人无法执行的操作，从而在模拟和现实世界可行性之间造成差距，从而仍会影响训练有效性。