摘要 - 人类寿命中有铰接的物体。当前类别级别的关节姿势估计(CAPE)方法是在单个现实设置下使用每个类别的固定运动结构的。考虑到这些局限性,我们旨在研究估计单个RGB-D图像中具有未知运动学结构的多个铰接式对象的零件级别6D姿势的问题,并改革此问题设置为现实世界环境,并建议Cape-real(Caper-Real)(CAPER)任务设置。此设置允许语义类别中的各种运动结构,以及在对现实世界的观察中共存的多个实例。为了支持这项任务,我们构建了一个明确的模型存储库RAINT-48,并呈现有效的数据集生成管道,其中包含快速发音的对象建模(FAOM)和半实体的混合现实现实技术(Samert)。伴随管道,我们构建了一个大规模的混合现实数据集后Tmix和一个现实世界数据集后TVAL。伴随着刺山柑问题和数据集,我们提出了一个有效的框架,该框架利用RGB-D输入来估算单个正向通行中多个实例的零件级姿势。在我们的方法中,我们从RGB-D输入中介绍对象检测,以处理多个实体问题,并将每个实例分为几个部分。为了解决未知的运动学结构问题,我们提出了一个解析网络,以分析检测实例的结构,并构建一个对伪造姿势估计模块,以估算第6D姿势以及连接零件对的联合属性。广泛的实验表明,所提出的方法可以在开普敦,斗篷和实例级机器人组姿势估计问题上实现良好的性能。我们认为,它可以作为对刺山柑任务的未来研究的强大基准。我们工作中的数据集和代码将公开可用。
主要关键词