本文探讨了 Transformer 模型在每个节点都具有复杂非线性动力学的网络（如神经生物学和生物物理网络）中学习 Granger 因果关系的潜力。我们的研究主要侧重于基于模拟神经动力学的概念验证调查，其中的真实因果关系通过底层连接矩阵已知。对于训练用于预测神经元群体动态的 Transformer 模型，我们表明交叉注意模块可以有效捕捉神经元之间的因果关系，其准确度等于或优于最流行的 Granger 因果关系发现方法。虽然我们承认现实世界的神经生物学数据将带来进一步的挑战，包括动态连接和未观察到的变异性，但这项研究为 Transformer 模型在神经科学因果表征学习中的实用性提供了令人鼓舞的初步一瞥。