AI的最新进展彻底改变了材料科学和加速材料发现的财产预测。图形神经网络(GNN)由于能够表示晶体结构作为图形,有效捕获局部相互作用并提供出色的预测,因此脱颖而出。但是,这些方法通常会丢失关键的全局信息,例如晶体系统和重复单位连接。为了解决这个问题,我们提出了Cast,这是一个基于跨注意的多模式融合模型,该模型集成了图形和文本模式以保留基本的材料信息。cast使用交叉注意机制将节点 - 和令牌级的特征结合在一起,超过了依赖于材料级嵌入(如图形平均值或[Cls]令牌)的先前方法。掩盖的节点预测预处理策略进一步增强了原子级信息的整合。与Crysmmnet和MultiMAT等方法相比,我们的四个晶体特性(包括带隙)的性质预测的实现最大提高了22.9%。预处理是对齐节点和文本嵌入的关键,并且注意力图证实了其在捕获节点和令牌之间关系的有效性。这项研究强调了材料科学中多模式学习的潜力,为更强大的预测模型铺平了道路,这些模型纳入了本地和全球信息。
主要关键词