详细内容或原文请订阅后点击阅览
语音基础模型可推广到可穿戴传感器数据的时间序列任务
本文在 NeurIPS 2025 的健康时间序列学习研讨会上被接受。语音和传感器时间序列数据都在时域和频域中编码信息，例如谱功率和波形 shapelet。我们表明，语音基础模型可以学习泛化到语音领域之外的表示，并在可穿戴传感器的各种时间序列任务上实现最先进的性能。根据从 HuBERT 和 wav2vec 2.0 提取的特征进行训练的探针优于从直接在特定模态数据集上训练的自监督模型中提取的探针......
来源:Apple机器学习研究本文已被 NeurIPS 2025 的健康时间序列学习研讨会接受。
语音和传感器时间序列数据都在时域和频域中对信息进行编码，例如频谱功率和波形 shapelet。我们表明，语音基础模型可以学习泛化到语音领域之外的表示，并在可穿戴传感器的各种时间序列任务上实现最先进的性能。根据从 HuBERT 和 wav2vec 2.0 提取的特征进行训练的探针优于从直接在特定模态数据集上训练的自监督模型提取的探针，用于情绪分类、心律失常检测和活动分类任务。我们发现语音模型的卷积特征编码器与可穿戴传感器应用特别相关。所提出的方法使用简单的探测方法增强了数据稀缺时间序列任务的性能。这项工作朝着开发统一语音和传感器模式的广义时间序列模型迈出了一步。