导入机器人URDF(United Robotics描述格式)文件,对于设置机器人模型必不可少。自动配置模块简化了配置RL参数和设置的过程,以确保为导入的机器人模型正确设置训练和仿真模块。该模块均馈入RL训练模块(支持PPO和SAC等算法)和仿真模块(由Physx提供支持),从而可以进行机器人模型的有效训练和物理模拟。SIM2REAL模块可以通过以太网将电动机命令发送到真实的机器人以进行现实世界实现,从而有助于确保可以轻松地将训练有素的策略部署在物理机器人中。此外,我们开发了一种状态对齐工具,该工具可以实时比较实际机器人和仿真模型之间的状态,从而促进了真实机器人状态与模拟中的模拟态度的一致性,以迅速迁移受过训练的行为。在线学习模块代表了一项新颖的努力,结合了SIM2REAL通信和RL训练模块,以利用现实世界中的机器人运动数据进行培训,从而克服了Sim2real的差异。
主要关键词