XiaoMi-AI文件搜索系统
World File Search System本域
当视频遇到惯性传感器：使用惯性传感器进行手指运动分析的零样本域自适应
无处不在的手指运动追踪使增强现实、体育分析、康复医疗保健等领域的许多激动人心的应用成为可能。虽然使用摄像头的手指运动追踪非常成熟，这很大程度上归功于大量训练数据集的可用性，但是对于为带有惯性测量单元 (IMU) 传感器的可穿戴物联网设备开发强大的机器学习 (ML) 模型来说，训练数据却十分匮乏。为了解决这个问题，本文提出了 ZeroNet，这是一个展示以零训练开销为 IMU 传感器开发 ML 模型的可行性的系统。ZeroNet 从公开的视频中收集训练数据以对 IMU 进行推理。由于传感器-摄像头坐标系、用户身体大小、手势过程中的速度/方向变化、传感器位置变化等差异，视频和 IMU 域之间的数据差异带来了许多挑战。ZeroNet 通过系统地从视频中提取运动数据并将其转换为 IMU 传感器测量的加速度和方向信息来解决这些挑战。此外，还利用数据增强技术在收集的训练数据中创建合成变化，以增强 ML 模型对用户多样性的通用性和鲁棒性。对 10 位用户的评估表明，对于 50 个手指手势的识别，top-1 准确率为 82.4%，top-3 准确率为 94.8%，这表明前景光明。虽然我们只是触及了表面，但我们概述了许多有趣的可能性，可以将这项工作扩展到计算机视觉、机器学习和可穿戴物联网等跨学科领域，从而实现手指运动跟踪的新应用。
当视频遇到惯性传感器：使用惯性传感器进行手指运动分析的零样本域自适应
无处不在的手指运动追踪使增强现实、体育分析、康复医疗保健等领域的许多激动人心的应用成为可能。虽然使用摄像头的手指运动追踪非常成熟，这很大程度上归功于大量训练数据集的可用性，但是对于为带有惯性测量单元 (IMU) 传感器的可穿戴物联网设备开发强大的机器学习 (ML) 模型来说，训练数据却十分匮乏。为了解决这个问题，本文提出了 ZeroNet，这是一个展示以零训练开销为 IMU 传感器开发 ML 模型的可行性的系统。ZeroNet 从公开的视频中收集训练数据以对 IMU 进行推理。由于传感器-摄像头坐标系、用户身体大小、手势过程中的速度/方向变化、传感器位置变化等差异，视频和 IMU 域之间的数据差异带来了许多挑战。ZeroNet 通过系统地从视频中提取运动数据并将其转换为 IMU 传感器测量的加速度和方向信息来解决这些挑战。此外，还利用数据增强技术在收集的训练数据中创建合成变化，以增强 ML 模型对用户多样性的通用性和鲁棒性。对 10 位用户的评估表明，对于 50 个手指手势的识别，top-1 准确率为 82.4%，top-3 准确率为 94.8%，这表明前景光明。虽然我们只是触及了表面，但我们概述了许多有趣的可能性，可以将这项工作扩展到计算机视觉、机器学习和可穿戴物联网等跨学科领域，从而实现手指运动跟踪的新应用。