本文探讨了变压器模型在每个节点(如神经生物学和生物物理网络)中具有复杂非线性动力学的网络中学习Granger因果关系的潜力。我们的研究主要集中于基于模拟神经动力学的概念验证研究,为此,通过基本的连通性矩阵已知地面真实性因果关系。对于经过训练的预测神经元种群动态的变压器模型,我们表明,交叉注意模块有效地捕获了神经元之间的因果关系,其精度相等或优于最流行的Granger因果关系分析方法。我们承认,现实世界的神经生物学数据将带来进一步的挑战,包括动态连通性和未观察到的可变性,但这项研究为神经科学中因果代表学习的变压器模型的实用性提供了令人鼓舞的初步瞥见。
主要关键词