详细内容或原文请订阅后点击阅览
CPEP：对比姿势 EMG 预训练增强 EMG 信号的手势概括
本文已被 NeurIPS 2025 的大脑和身体基础模型研讨会接受。使用视频、图像和手部骨骼等高质量结构化数据进行手势分类是计算机视觉中一个经过充分探索的问题。利用低功耗、经济高效的生物信号，例如表面肌电图 (sEMG) 可在可穿戴设备上进行连续手势预测。在本文中，我们证明，从与结构化、高质量数据一致的弱模态数据中学习表示可以提高表示质量并实现零样本……
来源:Apple机器学习研究本文已被 NeurIPS 2025 大脑和身体基础模型研讨会接受。
使用视频、图像和手部骨骼等高质量结构化数据进行手势分类是计算机视觉中一个经过充分探索的问题。利用低功耗、经济高效的生物信号，例如表面肌电图 (sEMG) 可在可穿戴设备上进行连续手势预测。在本文中，我们证明了从弱模态数据中学习与结构化的高质量数据一致的表示可以提高表示质量并实现零样本分类。具体来说，我们提出了一个对比姿势肌电图预训练（CPEP）框架来对齐肌电图和姿势表示，在其中我们学习一个能够产生高质量和姿势信息表示的肌电图编码器。我们通过线性探测和零样本设置来评估模型的手势分类性能。我们的模型在分布内手势分类上比 emg2pose 基准模型高出 21%，在看不见的（分布外）手势分类上比 emg2pose 基准模型高出 72%。
- † 南加州大学** 在 Apple 期间完成的工作