机构名称：
¥ 1.0
摘要。与视觉信号相比，放置在人体四肢上的惯性测量单元（IMU）可以捕获准确的运动信号，同时对照明变化和遮挡具有鲁棒性。尽管这些角色 - 在帮助以以上为中心的行动识别方面是有价值的，但IMU的潜力仍然不足。在这项工作中，我们提出了一种新颖的动作识别方法，该方法将来自人体磨损的IMU的运动数据与以自我为中心的视频相结合。由于标记的多模式数据的稀缺性，我们设计了一种基于MAE的自我监管预处理方法，通过对视觉和运动信号之间的自然相关性进行建模，从而获得了强大的多模式表示。为了建模整个体内的多个IMU设备的复合关系，我们利用了多个IMU设备中的协作动力学，并建议将人类关节的相对运动特征置入图形结构中。实验表明我们的方法可以在多个公共数据集上实现最新性能。在更具挑战性的场景中，我们的基于MAE的预培训和基于图的IMU建模的有效性得到了进一步的验证，包括部分缺少IMU设备和视频质量损坏，从而促进现实世界中更灵活的用法。
蒙版视频和肤色imu自动编码器用于以自我为中心动作识别
主要关键词
相关文件推荐
![[公式省略] -nn基于注意的视频视觉变压器用于动作识别](/simg/d/d6038d88dd575663e6609d90c04b80f4010ad2ab.webp)
