人脑是神经生物系统的中央枢纽,以复杂的方式控制行为和认知。神经科学和神经影像分析的最新进展表明,人们对大脑感兴趣区域(ROI)之间的相互作用及其对神经发育和疾病诊断的影响越来越感兴趣。作为分析图结构数据的强大深度模型,图神经网络(GNN)已被应用于脑网络分析。然而,训练深度模型需要大量标记数据,由于数据获取的复杂性和共享限制,这些数据在脑网络数据集中往往很少。为了充分利用可用的训练数据,我们提出了 PTGB,这是一个 GNN 预训练框架,它可以捕捉内在的脑网络结构,而不管临床结果如何,并且很容易适应各种下游任务。 PTGB 包含两个关键组件:(1)专为大脑网络设计的无监督预训练技术,能够从没有特定任务标签的大规模数据集中学习;(2)数据驱动的分区图谱映射管道,可促进具有不同 ROI 系统的数据集之间的知识转移。使用各种 GNN 模型进行的广泛评估表明,与基线方法相比,PTGB 具有稳健且卓越的性能。
大脑各区域之间的功能连接 (FC) 可以通过用功能神经成像模式测量的时间相关程度来评估。基于这些连接构建网络的事实,基于图的大脑连接组分析方法为人类大脑的功能提供了见解。能够从图结构化数据中学习表示的图神经网络 (GNN) 的发展,导致人们对学习大脑连接组的图形表示的兴趣日益浓厚。尽管最近将 GNN 应用于 FC 网络的尝试已显示出有希望的结果,但仍存在一个常见的限制,即它们通常不包含随时间波动的 FC 网络的动态特性。此外,一些尝试使用动态 FC 作为 GNN 输入的研究报告称,与静态 FC 方法相比,性能有所下降,并且不能提供时间上的可解释性。在这里,我们提出了 STAGIN,一种使用时空注意来学习大脑连接组的动态图形表示的方法。具体来说,将脑图的时间序列输入到 STAGIN 以获得动态图表示,而新颖的 READOUT 函数和 Transformer 编码器分别提供具有注意力的空间和时间可解释性。在 HCP-Rest 和 HCP-Task 数据集上的实验证明了我们提出的方法的卓越性能。时空注意力的分析还提供了与神经科学知识的并发解释,这进一步验证了我们的方法。代码可在 https://github.com/egyptdj/stagin 获得
教学大纲:1。图理论和网络科学背景(≈25%)A。基本定义和符号B.关键属性和概念C.网络分析基础D.应用 /激励示例2。< / div>图形模型(≈37.5%)A。图形模型的概述B.定向图形模型(贝叶斯网络)C。无向图形模型(马尔可夫随机字段)D。推理方法和不确定性E.图形模型中的学习。应用程序3。基于图的神经网络和几何深度学习(≈37.5%)A。为什么图形神经网络(GNN)?B.早期图形嵌入方法C.图形卷积网络(GCN)D. GNN体系结构的变体E.几何深度学习中的主题F.培训和实际考虑G.应用和成功故事
随着物联网(IoT)的服务质量的提高(QoS)要求,移动边缘计算(MEC)无疑已成为一个新的范式,用于在用户设备(UE)附近找到各种资源,以减轻骨干iot Net-Net-Net-Net-Works的工作量。深度加固学习(DRL)已成为首选的概念,这主要是由于它可以指导每个用户设备(UE)在动态环境中做出适当决策的能力。但是,传统的DRL算法无法完全利用MEC图中设备之间的关系。在这里,我们指出了两个典型的IoT方案,即,当在UES和交叉分布式服务的编排中生成资源受限的边缘服务器(ESS)中的依赖任务时,任务卸载决策制定,其中系统成本是通过编排层次结构网络最小化的。为了进一步增强DRL的性能,图形神经网络(GNN)及其变异性为广泛的物联网场景提供了有希望的概括能力。我们相应地为上述两个典型情况提供了混凝土解决方案,即图形神经网络策略优化(GNNPPO)和图形神经网络工作 - 工作 - 工程 - 工程增强学习(GNN-MRL),它们将GNN与受欢迎的Actor-Critic方案和新开发的MRL结合在一起。最后,我们指出了四个有价值的研究方向,用于探索AI授权MEC环境的GNN和DRL。
摘要在超高压力下(例如,H 3 S和LAH 10)在基于氢化物的材料中的超导性观察引起了人们对发现新的高压氢化物超导体的更具数据驱动方法的兴趣。在这项工作中,我们进行了密度功能理论(DFT)计算,以预测(0-500)GPA的压力范围内900多种氢化物材料的临界温度(T C),在此,我们发现122个动态稳定的结构,在MGB 2(39 K)上方的t C上有122个T C c。为了加速筛选,我们训练了图形神经网络(GNN)模型,以预测T C,并证明可以使用通用机器学习的力场来放宽在任意压力下的氢化物结构,并大大降低了成本。通过组合DFT和GNN,我们可以在压力下建立更完整的氢化物图。
资格:•目前在生物医学工程,计算机科学,电气工程或相关领域的学士学位,硕士学位,计划中注册。•对机器学习概念(DNN,GNN,Transformer)和算法的强烈了解。•熟悉大脑数据和机器学习框架(例如Tensorflow,Pytorch)。•出色的解决问题的技能和强大的分析心态。•能够至少两个学期
随着深度学习的有希望的进展,开发了许多方法来预测蛋白质功能。这些方法可以大致分为两类:基于序列和基于结构的方法。基于序列的方法利用了1D卷积神经网络(CNN)或变压器模型来生成蛋白质序列的特定表示[3,4]。后来,将蛋白质序列和同源性信息结合在一起的方法显示出显着改善[5,6]。蛋白质结构预测的最新发展使研究人员能够获得给定蛋白序列的可能的三维结构[7,8,9]。因此,许多基于结构的方法都使用图形神经网络(GNN)和通过消息范式范式从蛋白质结构信息中提取特征[10,11]。具体来说,每个残基在每一层的几何邻域接收信号,然后将图池层总结为蛋白质级表示,以进行分类。一种新开发的方法,即TAWFN,集成的CNN和GNN,利用蛋白质序列和结构信息来预测蛋白质功能[12]。
图神经网络(GNN)在广泛的应用领域中已显示出良好的效果。大多数 GNN 实证研究直接将观察到的图作为输入,假设观察到的结构完美地描述了节点之间准确和完整的关系。然而,现实世界中的图不可避免地是有噪声的或不完整的,这甚至会降低图表示的质量。在本文中,我们从信息论的角度提出了一种新的变分信息瓶颈引导的图结构学习框架,即 VIB-GSL。VIB-GSL 是首次尝试推进图结构学习的信息瓶颈 (IB) 原理,为挖掘底层任务相关关系提供了更优雅、更通用的框架。VIB-GSL 学习一种信息丰富且压缩的图结构,以提炼出特定下游任务的可操作信息。 VIB-GSL 对不规则图数据推导变分近似,形成易处理的 IB 目标函数,有利于提高训练稳定性。大量实验结果表明 VIB-GSL 具有良好的有效性和鲁棒性。
图神经网络(GNN)在广泛的应用领域中已显示出良好的效果。大多数 GNN 实证研究直接将观察到的图作为输入,假设观察到的结构完美地描述了节点之间准确和完整的关系。然而,现实世界中的图不可避免地是有噪声的或不完整的,这甚至会降低图表示的质量。在本文中,我们从信息论的角度提出了一种新的变分信息瓶颈引导的图结构学习框架,即 VIB-GSL。VIB-GSL 是首次尝试推进图结构学习的信息瓶颈 (IB) 原理,为挖掘底层任务相关关系提供了更优雅、更通用的框架。VIB-GSL 学习一种信息丰富且压缩的图结构,以提炼出特定下游任务的可操作信息。 VIB-GSL 对不规则图数据推导变分近似,形成易处理的 IB 目标函数,有利于提高训练稳定性。大量实验结果表明 VIB-GSL 具有良好的有效性和鲁棒性。
摘要 图神经网络 (GNN) 是深度学习社区中一个新兴的框架。在大多数 GNN 应用中,数据样本的图拓扑结构在数据集中提供。具体而言,图移位算子 (GSO) 是先验已知的,它可以是邻接、图拉普拉斯或它们的规范化。然而,我们通常不了解现实世界数据集背后的真实图拓扑结构。其中一个例子是从生理脑电图 (EEG) 中提取主体不变特征来预测认知任务。以前的方法使用电极位点来表示图中的节点并以各种方式连接它们来手工设计 GSO,例如,i) 每对电极位点连接以形成完整图,ii) 特定数量的电极位点连接以形成 k 最近邻图,iii) 仅当欧几里得距离在启发式阈值内时,每对电极位点才连接。在本文中,我们通过使用多头注意机制对 GSO 进行参数化来克服这一限制,以探索不同电极位置之间在认知任务下的功能性神经连接,同时结合图卷积核的参数学习无监督图拓扑结构