详细内容或原文请订阅后点击阅览

EMBridge：通过跨模态表示学习增强 EMG 信号的手势泛化

2026年3月3日 00:00 33 Comments
X Twitter Instagram Mail

使用视频、图像和手部骨骼等高质量结构化数据进行手势分类是计算机视觉中一个经过充分探索的问题。或者，利用低功耗、经济高效的生物信号，例如表面肌电图 (sEMG)，可以在可穿戴设备上进行连续手势预测。在这项工作中，我们的目标是通过将其与从结构化、高质量模态获得的嵌入对齐来提高 EMG 表示质量，这些模态提供丰富的语义指导，最终实现零样本手势泛化。具体来说，我们建议 EMBridge，一个...

来源:Apple机器学习研究

使用视频、即时通讯等高质量结构化数据进行手势分类

  • 随着年龄的增长，手部骨骼是计算机视觉中一个被充分探索的问题。艾特纳-
  • 积极地，利用低功耗、具有成本效益的生物信号，例如表面肌电信号成像（sEMG），允许在可穿戴设备上进行连续手势预测。在这项工作中，我们的目标是通过将其与从结构化、高质量的模式获得的嵌入提供了更丰富的语义指导，最终实现零样本手势泛化。具体-具体来说，我们提出了 EMBridge，一个跨模式表示学习框架弥合了肌电图和姿势之间的模态差距。 EMBridge 学习高通过引入查询转换器 (Q-Former) 来实现高质量 EMG 表示，蒙面姿势重建损失，以及社区意识的软对比学习对齐嵌入空间的相对几何形状的目标。我们评估-uate EMBridge 处理分布中和看不见的手势分类任务在所有基线上表现出一致的性能增益。尽我们最大的努力知识，EMBridge是第一个跨模态表示学习框架从可穿戴肌电图信号中实现零样本手势分类，显示可穿戴设备上现实世界手势识别的潜力。† 南加州大学** 在 Apple 期间完成的工作
    • 穿戴 表示 模态 设备 转换器 实现 一致的 空间的 工作中 成本效益 最大的 完成的 学习 电信号 质量的 进行 框架 探索的 计算机 嵌入 手势 几何形状 分类 高质量的 结构化 丰富的 EMBridge 肌电图 信号 高质量 质量