最能

神经语言任务学：哪些 NLP 任务最能预测 fMRI 大脑活动？

已经发现几种流行的基于 Transformer 的语言模型可成功用于文本驱动的大脑编码。然而，现有文献仅利用预训练的文本 Transformer 模型，尚未探索针对特定任务学习到的 Transformer 表示的有效性。在这项工作中，我们探索从十种流行的自然语言处理任务（两种句法和八个语义）学习到的表示中进行迁移学习，以预测来自两个不同数据集的大脑反应：Pereira（阅读段落中句子的受试者）和 Narratives（听口述故事的受试者）。基于任务特征的编码模型用于预测整个大脑不同区域的活动。共指消解、NER 和浅层语法分析的特征可以解释阅读活动的更大差异。另一方面，对于听力活动，诸如释义生成、总结和自然语言推理等任务表现出更好的编码性能。针对所有 10 个任务表征的实验提供了以下认知见解：（i）语言左半球比语言右半球具有更高的预测大脑活动，（ii）后内侧皮质、颞顶枕交界处、背额叶比早期听觉和听觉联想皮质具有更高的相关性，（iii）句法和语义任务在阅读和听力刺激方面分别显示出跨大脑区域的良好预测性能。