relcon:可穿戴数据的运动基础模型的相对对比度学习

我们提出了RERCON,这是一种新型的自我监督的相对对比学习方法,用于训练从可穿戴加速度计量学传感器的运动基础模型。首先,对可学习的距离度量进行了训练,以捕获主题相似性和特定于域的语义信息,例如旋转不变性。然后,学到的距离提供了一对加速度计时序列之间语义相似性的测量,我们用来训练我们的基础模型,以对跨时间和主体进行相对关系模型。基础模型接受了87,376的10亿个细分市场的培训…

来源:Apple机器学习研究

我们提出了RERCON,这是一种新型的自我监督的相对对比学习方法,用于训练从可穿戴加速度计量学传感器的运动基础模型。首先,对可学习的距离度量进行了训练,以捕获主题相似性和特定于域的语义信息,例如旋转不变性。然后,学到的距离提供了一对加速度计时序列之间语义相似性的测量,我们用来训练我们的基础模型,以对跨时间和主体进行相对关系模型。基金会模型接受了来自87,376名参与者的10亿个细分市场的培训,并在多个下游任务(包括人类活动识别和步态度量标准回归)中实现了最先进的表现。据我们所知,我们是第一个通过不同评估任务的可穿戴设备的运动数据来展示基础模型的普遍性。

†伊利诺伊大学Urbana-Champaign(UIUC)

图1:每个序列颜色代表不同用户的时间序列。 RELCON从使用者内部和间隔中吸引候选人,并通过可学习的距离函数通过其相对相似性进行排名。然后,它迭代地施加了对比损失,将一个候选人选择为正时,同时将更遥远的负数分配为负。这有助于预防误报/负面因素,因为捕获了完整的相对排名。先前的方法定义了单个正/阴性集,如果误导了语义错误。 Augpred和simclr通过语义保护的增强构建了正面对,因此对假阳性具有抵抗力,但是钢筋没有语义上约束的成对结构。此外,每种方法的候选抽样都会有所不同,从而影响其内部和用户之间相互作用之间的建模。