机构名称：
¥ 3.0
时间序列的预训练提出了一个独特的挑战，因为预训练和目标域之间可能存在不匹配，例如时间动态的变化、快速演变的趋势以及长期和短期周期效应，这可能会导致下游性能不佳。虽然领域自适应方法可以缓解这些变化，但大多数方法都需要直接来自目标域的示例，这使得它们对于预训练来说不是最优的。为了应对这一挑战，方法需要适应具有不同时间动态的目标域，并且能够在预训练期间无需看到任何目标示例即可做到这一点。相对于其他模态，在时间序列中，我们期望同一示例的基于时间和基于频率的表示在时频空间中位置靠近。为此，我们假设时频一致性 (TF-C)——将示例的基于时间的邻域嵌入到靠近其基于频率的邻域——对于预训练是可取的。受 TF-C 启发，我们定义了一个可分解的预训练模型，其中自监督信号由时间和频率分量之间的距离提供，每个分量都通过对比估计单独训练。我们在八个数据集上评估了新方法，包括电诊断测试、人体活动识别、机械故障检测和身体状态监测。针对八种最先进方法的实验表明，TF-C 在一对一设置（例如，在 EMG 数据上微调 EEG 预训练模型）中平均比基线高出 15.4%（F1 分数），在具有挑战性的一对多设置（例如，对 EEG 预训练模型进行微调以进行手势识别或机械故障预测）中高出 8.4%（精度），反映了现实世界应用中出现的场景广度。源代码和数据集可在https://github.com/mims-harvard/TFC-pretraining获得。
通过...进行时间序列的自监督对比预训练
主要关键词
相关文件推荐
