抽象数据重建攻击和防御对于理解机器学习和联合学习中的数据泄漏至关重要。然而,以前的研究主要集中在梯度反演攻击的经验观察上,缺乏基于模型架构和防御方法定量分析重建错误的理论框架。在本演讲中,我们提出将问题作为一个反问题,从而实现了对数据重建攻击的理论和系统评估。对于各种防御方法,我们得出了算法上限和匹配信息 - 两层神经网络的重建误差的理论下限,考虑了特征和建筑维度以及防御强度。我们进一步提出了两种防御策略 - 最佳梯度噪声和最佳梯度修剪 - 在保持模型性能的同时最大化重建误差。bio:Qi Lei是Courant数学科学研究所和NYU数据科学中心的数学和数据科学助理教授。以前她曾是普林斯顿大学ECE系的副研究学者。她获得了博士学位。来自UT Austin的Oden计算工程与科学研究所。她访问了高级学习研究所(IAS)/普林斯顿理论机器学习计划。在此之前,她曾是西蒙斯深度学习计划基础研究所的研究员。她的研究旨在为可信赖和(样本和计算)有效的机器学习算法开发数学基础。QI获得了多个奖项/认可,包括机器学习,EEC中的新星,统计和数据科学,杰出论文奖,计算奖学金奖学金和Simons-Berkeley Research奖学金。
图形神经网络(GNN)已被广泛应用于不同域之间的变量应用。但是,最近的研究表明,GNN易受成员推理攻击(MIA)的影响,该攻击旨在推断该模型的培训数据中包括某些特定的数据样本。虽然大多数先前的MIA都集中在训练图内的单个节点和边缘的成员中,但我们引入了一种新型的成员推理攻击形式,称为结构成员推理攻击(SMIA),该攻击(SMIA)旨在确定一组特定的目标结构,例如某个特定目标结构,例如集团或多跳训练图中的特定目标结构。为了解决此问题,我们提出了新颖的黑盒SMIA攻击,这些攻击利用了目标GNN模型产生的推理的预测输出。我们的方法涉及培训三标签分类器,该分类器与影子训练相结合,有助于加入推理攻击。我们对三种代表性GNN模型和三个现实世界图数据集的广泛实验评估表明,我们提出的攻击始终超过三个基线方法,包括采用常规链接成员资格推理攻击来推断子图结构的方法。此外,我们设计了一种防御机制,将扰动引入节点嵌入,从而影响了目标模型的相应预测输出。我们的防御选择性地覆盖了节点床中的尺寸,这些尺寸对模型的准确性影响最小。我们的经验结果表明,我们的方法的防御效力与两种既定的防御技术相媲美,这些技术采用了差异隐私。此外,与现有的两种防御方法相比,我们的方法在防御强度和目标模型的准确性之间取得了更好的权衡。