机构名称：
¥ 1.0
神经解码领域的最新进展加速了脑机接口的发展，旨在帮助用户完成日常任务，如说话、行走和操纵物体。然而，目前训练神经解码器的方法通常需要大量标记数据，而这些数据在现实环境中可能非常耗费精力或无法获得。一种有趣的替代方法是使用自监督模型，在两个数据流之间共享自生成的伪标签；此类模型在未标记的音频和视频数据上表现出色，但它们在神经解码方面的扩展效果仍不清楚。在这里，我们通过利用多个同时记录的数据流（包括神经、运动和生理信号）来学习没有标签的神经解码器。具体来说，我们应用跨模态、自监督深度聚类来解码脑部记录中的动作；这些解码器与监督和单模态、自监督模型进行了比较。我们发现，与单模态自监督模型相比，在训练期间在两个数据流之间共享伪标签可显著提高解码性能，其准确度接近在标记数据上训练的监督解码器的准确度。接下来，我们开发了在三种模态上训练的解码器，其性能与监督模型相当或略有超过，实现了最先进的神经解码准确度。跨模态解码是一种灵活、有前途的方法，可在没有任何标签的情况下在现实世界应用中实现稳健、自适应的神经解码。
使用多个数据流学习无标签的神经解码器
主要关键词
相关文件推荐
