XiaoMi-AI文件搜索系统
World File Search SystemGNNS
重新思考图对比学习中的消息传递
图对比学习（GCL）在图表示学习中表现出了显著的功效。然而，先前的研究忽略了在使用图神经网络（GNN）作为节点级对比学习的编码器时出现的内在冲突。这种冲突属于图神经网络的特征聚合机制与对比学习的嵌入区分特性之间的部分不协调。理论上，为了研究冲突的位置和程度，我们从 InfoNCE 损失的梯度角度分析了消息传递的参与。与其他领域的对比学习不同，GCL 中的冲突是由于在消息传递的方式下，某些样本同时对正向和负向的梯度有贡献，这是相反的优化方向。为了进一步解决冲突问题，我们提出了一个称为 ReGCL 的实用框架，它利用 GCL 梯度的理论发现来有效地改进图对比学习。具体而言，在消息传递和损失函数方面设计了两种基于梯度的策略来缓解冲突。首先，提出了一种梯度引导结构学习方法，以获得适应对比学习原理的结构。其次，设计了一种梯度加权的 InfoNCE 损失函数来降低高概率假阴性样本的影响，特别是从图编码器的角度来看。大量实验证明了所提出的方法与各种节点分类基准中最先进的基线相比具有优越性。
使用紧凑型模型基于快速机器学习的预测
热模拟在集成电路（IC）设计中至关重要，尤其是在向3D体系结构的转移时。随着晶体管密度的增加，散热成为一个重大挑战，导致热点和热梯度可以降低芯片性能，可靠性和寿命。因此，芯片设计期间的热分析是必不可少的任务[1]。传统的热分析方法，例如有限元方法（FEM），具有很高的精度。但是，这些计算方法需要3D体系结构的大量记忆，时间，设计和细粒度模拟。紧凑的热模型（CTM）提供了更有效的替代方案。虽然CTMS显着降低了计算要求，但它们依赖于数值求解器。这使CTMS计算对于具有动态工作负载或经常更改设计的应用程序上的计算昂贵。机器学习的最新进展（ML）具有热模拟的替代方法。mL模型可以直接预测温度分布，与数值求解器相比，提供了很大的加速。但是，现有的ML方法受到关键限制。这些模型需要大型数据集进行培训，依靠复杂的体系结构，例如卷积神经网络（CNN）或图形神经网络（GNN），并且常常缺乏对新平面图或不重新训练的电源分布的适应性[2]。这项工作通过设计与CTMS集成的轻量级ML框架来解决这些限制。我们的方法利用热传导方程的线性性质，使用线性回归开发一个简单的，物理知情的模型。通过将问题的物理学直接嵌入ML框架中，我们最大程度地减少了对大型
GNN4REL：用于预测电路的图神经网络...
摘要 — 工艺变化和器件老化给电路设计人员带来了巨大的挑战。如果不能准确了解变化对电路路径延迟的影响，就无法正确估计用于防止时序违规的保护带。对于先进技术节点，这个问题更加严重，因为晶体管尺寸达到原子级，既定裕度受到严重限制。因此，传统的最坏情况分析变得不切实际，导致无法容忍的性能开销。相反，工艺变化/老化感知静态时序分析 (STA) 为设计人员提供了准确的统计延迟分布。然后可以有效地估计较小但足够的时序保护带。但是，这种分析成本高昂，因为它需要密集的蒙特卡罗模拟。此外，它需要访问机密的基于物理的老化模型来生成 STA 所需的标准单元库。在这项工作中，我们采用图神经网络 (GNN) 来准确估计工艺变化和器件老化对电路内任何路径延迟的影响。我们提出的 GNN4REL 框架使设计人员能够快速准确地进行可靠性评估，而无需访问晶体管模型、标准单元库甚至 STA；这些组件都通过代工厂的训练整合到 GNN 模型中。具体来说，GNN4REL 是在 FinFET 技术模型上进行训练的，该模型根据工业 14 nm 测量数据进行了校准。通过对 EPFL 和 ITC-99 基准以及 RISC-V 处理器的大量实验，我们成功估计了所有路径的延迟退化（尤其是在几秒内），平均绝对误差低至 0。01 个百分点。
使用图形神经网络在Web应用程序中检测漏洞检测的方法
由于开源软件包漏洞而引起的软件系统的复杂性日益增长，使软件漏洞检测成为关键的优先级。传统的脆弱性检测方法，包括静态，动态和混合方法，通常在高阳性速率和有限的效率方面挣扎。最近，基于图的神经网络（GNN）和变形金刚模型通过表示代码作为捕获语法和语义的图表来提高漏洞检测准确性。本文介绍了一个混合框架，结合了门控图神经网络（GGNN）和变压器编码器以利用多个图表表示：抽象语法树（AST），数据流程图（DFG），控制流程图（CFG）（CFG）和代码属性图（CPG）。GGNN提取图级特征，而变压器在图形编码数据中增强了顺序上下文理解。该模型使用这些功能来检测功能级代码段中的漏洞。评估我们在OWASP WebGoat数据集上的框架的评估证明了在五种主要漏洞类型中不同图形表示的有效性：命令注入，弱加密，路径遍历，SQL注入和跨站点脚本。实验结果表明，GGNN+CpG配置始终产生高度弱点的较高回忆，而GGNN+CFG在检测基于控制的基于控制的漏洞（例如命令注射）方面表现出色。这些发现突出了混合GNN-Transformer框架在增强网络安全应用程序的代码漏洞检测方面的潜力。GGNN和变压器模型的集成导致在所有漏洞类型中的准确性，精度，回忆和F1得分方面显着增强，每个图表表示对代码结构和脆弱性模式都有独特的见解。
使用功能性MRI数据
主要抑郁症（MDD）是最常见的精神障碍之一，对许多日常活动和生活质量产生了重大影响。它是全球最常见的精神障碍之一，并将其列为残疾的第二大主要原因。当前的MDD诊断方法主要依赖于临床观察和患者报告的症状，忽视了导致抑郁症的各种基本原因和病理生理因素。因此，科学研究人员和临床医生必须对MDD中涉及的病理生理机制有更深入的了解。神经科学中越来越多的证据表明抑郁症是一种脑网络障碍，而神经影像学（例如磁共振成像（MRI））在识别和治疗MDD中起着重要作用。休息状态功能性MRI（RS-FMRI）是用于研究MDD的最流行的神经影像学技术之一。深度学习技术已被广泛应用于神经影像学数据，以帮助早期精神健康障碍检测。近年来，人们对图神经网络（GNN）的兴趣增加了，它们是专门设计用于处理RS-FMRI（例如RS-FMRI）的深神经体系结构。这项研究旨在开发一种基于整体的GNN模型，该模型能够检测RS-FMRI图像中的歧视性特征，以诊断MDD。具体来说，我们通过结合多个大脑区域分割图像群的特征来捕获大脑复杂性并更准确地检测到不同特征的特征，从而构建了一个集合模型。此外，通过评估其在大型多站点MDD数据集上的性能来证明我们的模型的有效性。所有折叠中最佳性能模型的精度为75.80％，灵敏度为88.89％，特异性为61.84％，精度为71.29％，F1得分为79.12％。
生成性动力图形 - 代表性学习 -
在金融交易中进行检测至关重要，特别是对于确定诸如阴谋欺骗之类的复杂行为。传统机器学习方法主要集中在孤立的节点特征上，通常忽略了互互互操作节点的更广泛背景。基于图形的技术，尤其是图形神经网络（GNN），通过有效利用关系信息来推进该领域。但是，在现实世界中的欺骗检测数据集中，交易行为表现出动态，不规则的模式。措施欺骗检测方法虽然在某些方面有效，但仍在努力捕获动态和多样化的，不断发展的节点之间的关系的复杂性。为了应对这些挑战，我们提出了一个名为“生成动态图”模型（GDGM）的新颖框架，该框架对动态交易行为进行建模以及节点之间的关系，以学习阴谋欺骗检测的表示表示。具体来说，我们的方法结合了生成动态的潜在空间，以捕获时间模式和不断发展的市场条件。原始交易数据首先将其转换为时标的序列。然后，我们使用神经普通微分方程和门控反式单元对交易行为进行建模，以生成结合欺骗模式的时间动态的表示形式。此外，还采用了伪标记的结构和异质聚合技术来收集相关信息并提高阴谋欺骗行为的检测性能。对欺骗检测数据集进行的实验表明，我们的方法在检测准确性方面构成了最先进的模型。此外，我们的欺骗检测系统已成功部署在最大的全球交易市场之一中，进一步验证了所提出方法的实际适用性和性能。
全面回顾人工智能......
人工智能（AI）被定义为人工实体为解决复杂问题而表现出的智能，通常被认为是计算机或机器的系统（Kumar等，2012）。随着大数据的出现和计算能力的提升，机器学习、人工神经网络和深度学习（Gao等，2022；Song等，2022；Gao等，2023）近年来发展迅速并不断融合其他学科，在理论和应用上取得了巨大成功（Chaturvedula等，2019；Brown等，2020；Woschank等，2020；Alzubaidi等，2021；Mohsen等，2023）。图1展示了AI与机器学习、人工智能、深度学习等相关概念之间的关系。同时，图1还展示了人工智能在药理学研究中的应用。人工智能的发展可以追溯到20世纪40年代，其历史进程和发展已在之前的许多综述中详细描述（Muggleton，2014；Haenlein and Kaplan，2019）。近几十年来，卷积神经网络（CNN）、循环神经网络（RNN）、图神经网络（GNN）和深度神经网络（DNN）（Gao et al., 2021; Lai et al., 2022）等神经网络的广泛应用，以及 ResNet（He et al., 2015; Zhang et al., 2024）、Attention 和 Transformer（Vaswani et al., 2017; You et al., 2022b）等深度学习算法的发展，推动了神经网络和深度学习的发展，并进一步优化了人工智能算法在各个领域的应用性能（Alzubaidi et al., 2021）。图 2 简要摘录并展示了人工智能发展过程中提出的最重要的算法。
研究主题社论：新型统计和机器学习方法在高维临床癌症和（多）
三年前，也就是 2021 年，我们的第一个研究课题“将新型统计和机器学习方法应用于高维临床癌症和（多）组学数据”成为了 Frontiers 读者的一大亮点，浏览量超过 52K，下载量超过 13K。它通过突出统计遗传学和方法学领域的前沿研究，为该领域做出了巨大贡献。在第一卷成功的基础上，我们通过发表四篇文章，带来了另一个关于该研究主题的富有洞察力和发人深省的研究课题。在第二卷中，我们继续关注癌症相关研究中高维临床和（多）组学数据的新型统计和机器学习方法的开发和应用。随着人工智能 (AI) 的发展，尤其是深度学习 (DL)，第二卷中的四篇文章中有三篇研究了使用 DL 进行多组学数据集成的方法，而第四篇文章研究了一种新的测序数据处理方法。随着深度学习的快速发展，将基于深度学习的方法应用于多组学整合方面取得了重大进展。在一篇评论文章中，Wekesa 和 Kimwele 全面讨论了在疾病诊断、预后和治疗中使用深度学习技术进行多组学数据分析的最新趋势。他们特别关注涉及非编码 RNA 的多组学数据集，例如 miRNA 和长链非编码 RNA (lncRNA)，这些 RNA 在癌症发展和研究中起着至关重要的作用。重点介绍了几种用于集成和解释的新型深度学习方法，包括对比学习、DeepLIFT、分解机器深度学习 (FMDNN) 和图神经网络 (GNN)。此外，他们评估了将深度学习方法与计算生物学中的区块链和物联网 (IoT) 等新兴技术相结合的研究。乳腺癌和脑癌检测中的案例研究表明，将尖端技术和深度学习方法相结合可以如何促进癌症
通过有向图神经实现稳健的角度同步 - ...
角度同步问题旨在从 m 个噪声测量偏移量 θ i ´ θ j mod 2 π 中准确估计（直到恒定的加性相位）一组未知角度 θ 1 , ... , θ n P r 0 , 2 π q 。例如，应用包括传感器网络定位、相位检索和分布式时钟同步。将该问题扩展到异构设置（称为 k 同步）是同时估计 k 组角度，给定每组的噪声观测（组分配未知）。现有的角度同步方法通常在高噪声环境中表现不佳，这在应用中很常见。在本文中，我们利用神经网络解决角度同步问题及其异构扩展，提出了 GNNS YNC，这是一个使用有向图神经网络的理论性端到端可训练框架。此外，还设计了新的损失函数来编码同步目标。在大量数据集上的实验结果表明，GNNSync 在角度同步问题及其扩展的一组全面基线中获得了具有竞争力的、通常更优异的性能，证明了 GNNSync 即使在高噪声水平下也具有鲁棒性。1 引言近年来，组同步问题作为许多计算问题的关键构建块受到了广泛关注。组同步旨在估计一组组元素，给定它们的成对比率 Υ i,j “ gig ´ 1 j 的一小部分潜在噪声测量值。一些应用包括‚在 3D 旋转的群 SO(3) 上：3D 计算机视觉中的旋转平均（Arrigoni & Fusiello，2020；Janco & Bendory，2022）和结构生物学中的分子问题（Cucuringu et al.，2012b）； ‚ 在整数 t 0 , 1 , 2 , 3 u 的群 Z 4 上，以模 4 加法作为群运算：解决拼图游戏 (Huroyan et al., 2020)；‚ 在群 Z n ，分别为 SO(2) 上：从成对比较中恢复全局排名 (He et al., 2022a; Cucuringu, 2016)，以及，‚ 在刚体运动的欧几里得群 Euc p 2 q “ Z 2 ˆ SO(2) ˆ R 2 上：传感器网络定位 (Cucuringu et al., 2012a)。
Jichen Li - - UCR概况 - 加利福尼亚大学，河滨大学
[8] J. Yao，X。Zhang，Y。Xia，Z。Wang，A。K. Roy-Chowdhury和J. Li，“ Sonic：具有自适应的保形的推理和约束的强化性的安全社会导航”，已提交给IEEE EEEE机器人和自动化信（RA-L）。[7] J. li *，C。Hua *，H。Ma，J。Park，V。M. Dax和M. J. Kochenderfer，“具有多代理动态关系推理的社会机器人导航”，在修订版中提交了有关机器人技术的IEEE交易。[6] Z. Wu*，Y。Wang*，Z. Wang*，H。Ma，Z。Li，H。Qiu，H。Qiu和J. Li，“ CMP：具有多代理通信的合作运动预测”，审查。[5] J. Li，J。Li，S。Bae和D. Isele，“自适应预测合奏：改善动作预测的分布外通用”，已提交给IEEE机器人技术和自动化信（RA-L），正在审查中。[4] B. Lange，M。Itkina，J。Li和M. J. Kochenderfer，“自主驾驶的自我监管的多未来占用预测”，已提交给IEEE机器人技术和自动化信（RA-L），正在审查中。[3] M. Arief*，M。Timmerman*，J。Li，D。Sele和M. J. Kochenderfer，“在高度互动环境中对智能代理的重要性采样引导的元训练”，审查提交给IEEE机器人和自动化信（RA-L）（RA-L）。[2] V. Dax，Z。Li，X。Zhang，H。Shekhar，J。Li和M. J. Kochenderfer，“整合了时空推理的图形和复发性神经网络”，在IEEE交易中，在IEEE交易中，在审查中。[1] V. Dax，J。Li和M. J. Kochenderfer，“本地无序的GNN的概括差距”，已提交给机器学习，正在审查中。