XiaoMi-AI文件搜索系统
World File Search SystemGNNS
用于多智能体轨迹预测的二阶图微分方程
多智能体轨迹预测是一项基础任务，可应用于自动驾驶、物理系统建模和智慧城市等各个领域。该任务具有挑战性，因为智能体交互和底层连续动力学共同影响其行为。现有方法通常依赖图神经网络 (GNN) 或 Transformer 来提取智能体交互特征。然而，它们往往忽略了智能体之间的距离和速度信息如何动态地影响它们的交互。此外，以前的方法使用 RNN 或一阶常微分方程 (ODE) 来模拟时间动态，这可能缺乏对每个智能体如何受交互驱动的解释性。为了应对这些挑战，本文提出了 Agent Graph ODE，这是一种显式模拟智能体交互和连续二阶动力学的新方法。我们的方法采用变分自编码器架构，在编码器模块中结合了具有距离信息的时空Transformer和动态交互图的构建。在解码器模块中，我们采用具有距离信息的GNN来建模智能体交互，并使用耦合的二阶微分方程(ODE)来捕捉底层的连续动力学，该微分方程通过建模加速度和智能体交互之间的关系来构建模型。实验结果表明，我们提出的Agent Graph ODE在预测精度方面优于最先进的方法。此外，我们的方法在训练数据集中未见的突发情况下也表现良好。
![arxiv：2402.13946v2 [cs.lg] 2024年2月26日](/simg/g:\will\search\icon\source\e\e870ca6fb63efd17ae8a07b3968e3146d214b6ab.webp)
arxiv：2402.13946v2 [cs.lg] 2024年2月26日
抽象机器学习在解决几个关键硬件安全问题方面表现出了巨大的希望。特别是，搜索者开发了新的图形神经网络（GNN） - 用于检测知识产权（IP）盗版的技术，检测硬件木马（HTS）和反向连接电路，仅举几例。这些技术表现出了出色的准确性，并在社区中受到了很多关注。但是，由于这些技术用于安全应用程序，因此必须对其进行彻底评估，并确保它们是强大的，并且不会损害集成电路的安全性。在这项工作中，我们提出了AttackGnn，这是对硬件安全性基于GNN的技术的第一次红线攻击。为此，我们设计了一种新颖的增强学习（RL）代理，该学习产生了针对基于GNN的技术的对抗性实例，即电路。我们克服了与有效性，可伸缩性和通用性相关的三个挑战，以设计有效的RL代理。我们针对5种基于GNN的技术针对硬件安全性的四个关键类别的问题：IP盗版，检测/本地化HTS，反向工程和硬件混淆。通过我们的方法，我们制作的电路会欺骗这项工作中所有的GNNS。例如，为了逃避IP盗版检测，我们产生了对抗性的盗版电路，使基于GNN的防御能力将我们精心制作的电路分类为未盗版的情况。用于攻击HT定位GNN，我们的攻击产生了HT侵入的电路，使所有经过测试的电路都欺骗了防御。对于所有类别的问题，我们获得了与GNN相似的100％成功率。
从分子预训练模型中提取训练数据
图形神经网络（GNN）已显着提高了药物发现领域，从而提高了分子鉴定的速度和效率。但是，培训这些GNN需要大量的分子数据，这促使了协作模型共享计划的出现。这些举措促进了在组织中共享分子预培训模型的情况，而无需暴露专有培训数据。尽管有好处，但这些分子预训练的模型仍可能带来隐私风险。例如，恶意对手可以执行数据提取攻击以恢复私人培训数据，从而威胁商业秘密和协作信任。这项工作首次探讨了从分子预训练模型中提取私人训练分子数据的风险。这项任务是非凡的，因为分子预训练的模型是非生成性的，并且表现出多种模型架构，这与语言和图像模型明显不同。为了解决这些问题，我们引入了一种分子生成方法，并提出了一种新颖的，独立于模型的评分函数，以选择有希望的分子。为了有效地减少潜在分子的搜索空间，我们进一步引入了一个分子提取策略网络，以进行分子提取。我们的实验表明，即使仅查询分子预先训练的模型，也存在提取培训数据的很大风险，这挑战了这样的假设，即单独模型共享提供了足够的保护，以防止数据提取攻击。我们的代码可在以下网址公开获取：https：//github.com/ molextract/data-extraction-from-molecular-molecular-pre-preated-model-model。
自主弹性网络的增强学习...
未来的网络威胁将包括能够逃避和压倒传统网络捍卫者的大量复杂机器速度网络攻击。在支持社会善和全球安全方面，我们采取了一种特殊的方法来总结大量的国防研究，该研究应用了强化学习（RL）来自动化网络防御决策，即，当检测到网络攻击时，我们采取什么行动？有希望的概念包括两种对比鲜明的多代理RL（MARL）方法，深度RL与异源图神经网络（GNNS）结合使用，以及一个网络急救演示器。为了实现这一目标，我们已经成熟的模拟器和工具，包括开发高级对手以提高防御者的鲁棒性。我们已经证明，自主网络防御在“真正的”代表网络上是可行的，并计划在明年的高保真项目数量方面倍增。
№1（130）1225年。
摘要本文概述了传统神经网络体系结构的演变，例如完全连接的网络，卷积神经网络（CNNS）和经常性的神经网络（RNNS） - 变形金刚的跨形成范式。它突出了变形金刚通过引入提出机制，实现有效的并行处理并捕获长期依赖性来彻底改变深度学习，而这些依赖性较早就在努力处理。然后，本文专注于将这些原理应用于图形结构化数据。它探讨了图形神经网络（GNNS）如何，尤其是图形注意力网络（GAT），将注意力机制和位置编码整合在一起，以有效地模拟节点之间的复杂关系。重点放在gat在不同领域的实际实用性，从推荐系统和药物发现到欺诈检测和时间序列的异常检测。通过此综合，本文强调了基于注意力的方法对Handling复杂，相互联系的数据集的不断增长，并概述了正在进行的研究方向，这些研究方向推动了图形转换的领域。
EGNN：基于进化计算的图结构学习在图神经网络中更有帮助
近年来，图神经网络（GNN）凭借其邻域聚合的特性，在许多领域得到了成功应用，并取得了最佳性能。虽然大多数GNN处理图数据，但原始图数据往往带有噪声或不完整，导致GNN性能不佳。为了解决这个问题，最近出现了一种图结构学习（GSL）方法，通过学习符合基本事实的图结构来提高图神经网络的性能。然而，目前的GSL策略是迭代优化最优图结构和单个GNN，这会在训练中遇到几个问题，即脆弱性和过度拟合。本文引入了一种称为进化图神经网络（EGNN）的新型GSL方法，以提高对对抗性攻击的防御能力并增强GNN性能。与现有的GSL方法通过交替训练方法来优化图结构并增强单个GNN模型的参数不同，本文首次将进化理论应用于图结构学习。具体来说，通过变异操作生成的不同图结构用于进化一组模型参数，以适应环境（即提高未标记节点的分类性能）。然后使用评估机制来衡量生成样本的质量，以便仅保留具有良好性能的模型参数（后代）。最后，保留适应环境的后代并用于进一步优化。通过这个过程，EGNN 克服了图结构学习的不稳定性，并且始终进化出最好的后代，为 GSL 的进步和发展提供了新的解决方案。在各种基准数据集上进行的大量实验证明了 EGNN 的有效性以及基于进化计算的图结构学习的好处。© 2023 由 Elsevier BV 出版
soft-...
现代计算软组织力学模型有可能提供独特的，特定于患者的诊断见解。由于使用常规数值求解器进行机械仿真时，这种模型在临床环境中的部署受到限制。在临床相关时间范围内获得结果的另一种方法是使用计算有效的替代模型（称为模拟器）代替数值模拟器。在这项工作中，我们为软组织力学提出了一个模拟框架，该框架以两种方式基于传统方法。首先，我们使用图形神经网络（GNN）进行仿真。gnns自然可以处理给定患者的唯一软组织几何形状，而无需进行任何低阶近似。其次，模拟器以物理信息的方式进行训练，以最大程度地减少势能功能，这意味着训练不需要昂贵的数值模拟。我们提出结果表明，我们的框架可以为一系列软组织机械模型提供高度准确的仿真，同时预测比模拟器更快地进行了几个数量级。
GDAS驱动的机器学习天气预测：一项与GDAS始于全球天气预测初始化的图形广播的比较研究
对全球天气的中等程度预测在各个社会和经济领域的决策过程中起着关键作用。近年来，在天气预测中的机器学习（ML）模型应用程序的迅速发展，与传统的数值天气预测（NWP）模型相比，表现出色的性能显着。这些剪边模型利用了多种ML架构，例如图形神经网络（GNNS），卷积神经网络（CNN），傅立叶神经操作员（FNOS）和变压器。值得注意的是，Google DeepMind开创了一种基于ML的新方法，称为GraphCast，从重新分析数据中直接培训，并在不到一分钟的时间内促进了对众多天气变量的全球预测。令人印象深刻的是，图形播放预测在预测恶劣天气事件方面的准确性提高，包括热带气旋，大气河流和极端热量等现象。但是，Graphcast的效率依赖于高质量的历史天气数据进行培训，通常来自ECMWF的ERE5重新分析。
子图结构对图神经网络的成员推理攻击
图形神经网络（GNN）已被广泛应用于不同域之间的变量应用。但是，最近的研究表明，GNN易受成员推理攻击（MIA）的影响，该攻击旨在推断该模型的培训数据中包括某些特定的数据样本。虽然大多数先前的MIA都集中在训练图内的单个节点和边缘的成员中，但我们引入了一种新型的成员推理攻击形式，称为结构成员推理攻击（SMIA），该攻击（SMIA）旨在确定一组特定的目标结构，例如某个特定目标结构，例如集团或多跳训练图中的特定目标结构。为了解决此问题，我们提出了新颖的黑盒SMIA攻击，这些攻击利用了目标GNN模型产生的推理的预测输出。我们的方法涉及培训三标签分类器，该分类器与影子训练相结合，有助于加入推理攻击。我们对三种代表性GNN模型和三个现实世界图数据集的广泛实验评估表明，我们提出的攻击始终超过三个基线方法，包括采用常规链接成员资格推理攻击来推断子图结构的方法。此外，我们设计了一种防御机制，将扰动引入节点嵌入，从而影响了目标模型的相应预测输出。我们的防御选择性地覆盖了节点床中的尺寸，这些尺寸对模型的准确性影响最小。我们的经验结果表明，我们的方法的防御效力与两种既定的防御技术相媲美，这些技术采用了差异隐私。此外，与现有的两种防御方法相比，我们的方法在防御强度和目标模型的准确性之间取得了更好的权衡。
Barlowrl：Barlow双胞胎用于数据有效增强学习
合成图生成器（SGG）的主题最近由于生成建模的最新突破而引起了很多关注。但是，许多与图形尺寸相比，许多最先进的SGG并不能很好地扩展。的确，在生成过程中，通常必须考虑固定数量的节点的所有可能边，其中缩放在O（n 2）中，n是图中的节点的数量。因此，许多最新的SGG不适用于大图。在本文中，我们提出了Sangea，这是一个较大的合成图生成框架，可扩展任何SGG对大图的适用性。首先将大图拆分为社区，Sangea每个社区训练一个SGG，然后将社区图形链接在一起以创建合成的大图。我们的实验表明，就拓扑和节点特征分布而言，Sangea生成的图与原始图具有很高的相似性。此外，这些生成的图在下游任务（例如链接预测）上实现了高实用性。最后，我们对生成的图表进行了隐私评估，以表明即使它们具有出色的实用程序，它们也达到了合理的隐私分数。关键字：图生成学习； gnns，属性生成；可伸缩性；隐私