XiaoMi-AI文件搜索系统
World File Search SystemFederated
对分裂学习和联合学习的评论
分裂学习（SL）和联合学习（FL）的整合提供了一个令人信服的机会，可以解决两种方法的固有局限性，并创建更强大的，具有隐私性的分布式学习系统。拆分学习，涉及将机器学习模型跨多个方分开，并在数据隐私和计算效率方面具有优势。通过分发模型组件，敏感数据保持本地化，从而减轻与集中数据收集相关的隐私风险。此外，SL可以通过在Singh等人的多个设备上分配训练工作量来提高计算效率，2019年。联合学习专注于分散数据的培训模型，而无需共享原始数据。这种方法在实现协作模型开发的同时保留了数据隐私。但是，FL可能会遭受沟通开销和处理异质数据分布的挑战。结合这两种技术具有创造一种协同方法的潜力，该方法在减轻它们的弱点的同时利用了两者的优势。例如，通过将SL的模型分区与FL的分散培训集成在一起，可以解散既具有隐私性且在计算上有效的分布式学习系统。这种组合还可以通过减少数据异质性和改善收敛性的影响来增强系统的鲁棒性。此外，SL和FL之间的协同作用可以为研发开辟新的途径。例如，探索针对不同类型的模型和数据分布的最佳分区策略是一个关键的调查领域。此外，开发有效的通信协议，用于在联合设置中的分配模型组件之间交换模型更新对于实际实施至关重要。总而言之，分裂学习和联合学习的结合为开发更安全，高效和可扩展的分布式学习系统提供了有希望的途径。通过仔细考虑两种方法的优势和劣势，研究人员和从业人员都可以释放这种协同组合的全部潜力。
生物银行规模数据集的安全且联合的全基因组关联研究
。cc-by-nc-nd 4.0国际许可证（未经同行评审证明）获得的是作者/资助者，他授予Biorxiv授予Biorxiv的许可，以永久显示预印本。这是该版本的版权持有人，该版本发布于2024年8月10日。 https://doi.org/10.1101/2022.11.30.518537 doi：Biorxiv Preprint
垂直联合学习中的标签泄漏：调查
垂直联合学习（VFL）是一个分布式机器学习范式，它使用具有功能的被动方和带有其他标签的主动聚会进行协作训练模型。虽然VFL通过数据局部iZation提供隐私保护，但标签泄漏的威胁仍然是一个重要的挑战。标签泄漏是由于标签推理攻击而发生的，在这种情况下，被动方试图推断标签的隐私和商业价值。已经对这种特殊的VFL攻击进行了广泛的研究，但仍缺乏全面的摘要。为了弥合这一差距，我们的论文旨在调查现有的标签推理攻击和侵害。我们分别针对标签推理攻击和防御措施提出了两个新的分类法。除了总结当前的研究状态外，我们强调了我们认为具有强大的技术，并且可能会影响未来的研究。此外，总结了实验基准数据集和评估指标，以提供后续工作的指南。
对基础模型培训有效的联邦学习方法的调查
联邦学习（FL）已成为一种既定技术，旨在促进众多客户的隐私协作培训。，FL的新方法经常讨论他们的贡献，涉及小型深度学习模型，并专注于培训对客户的完整模型。在基础模型（FM）之后，对于许多深度学习应用而言，现实是不同的。典型地，FMS已经在各种任务中进行了预先训练，并且可以对数据集的明显小于全面模型培训所需的明显小的数据集进行微调。但是，访问此类数据集通常是具有挑战性的。根据其设计，FL可以帮助打开数据孤岛。在这项调查中，我们引入了一种关于计算和通信效率的新型分类法，这是在FL系统中使用FMS的重要要素。我们讨论了针对FL应用程序的参数有效微调（PEFT）的好处和背部，并详细介绍了FL框架与FMS合作的准备，并为如何评估FL以及隐私和PEFT的相互作用提供了有关如何评估属性模型的未来研究机会。
设备上的天气基础模型的联合及时学习
天气预报的设备智能使用本地深度学习模型来分析没有集中云计算的天气模型，对支持人类激活具有重要意义。联邦学习是通过在不共享原始数据的情况下进行协作模型培训来实现协作模型培训的一种有希望的解决方案。但是，它面临着妨碍其可靠性的三个主要挑战：（1）由于地理差异而导致设备之间的数据异质性； （2）单个设备中的数据同质性和（3）发送大型模型参数以进行协作而进行的通信过载。为了应对这些挑战，本文为天气模型（FEDPOD）提供了供您提供的供应的p rompt学习，该模型（FEDPOD）启动了启动的设备，以在维持沟通效率的同时获得高度定制的模型。具体而言，我们的自适应及时调整杆轻巧的提示指导冷冻基础模型产生更精确的预测，还进行了迅速的基于基于多层次的沟通，以鼓励多源知识知识效果并调节优化。此外，Dy-Namic图建模构造了提示的图形，优先考虑具有与异质性相似的数据分布的设备之间的协作培训。广泛的实验表明，FEDPOD在现实世界内部的天气预报数据集中领导着最先进的基线的性能。
fedGCS：通过基于梯度的优化在联合学习中有效选择有效客户选择的生成框架
联邦学习在统计和系统异质性方面面临重大挑战，以及高能量消耗，需要有效的客户选择策略。传统方法，包括启发式和基于学习的方法，无法解决这些复杂性。为了回应，我们提出了FedGC，这是一种新颖的生成客户选择框架，它可以创新将客户选择过程作为一项固定的任务重新铸造。从大语模型中使用的方法中汲取灵感，FedGC能够在连续表示空间内编码丰富的决策知识，从而实现了有效的基于梯度的优化，以搜索将通过生成而产生的最佳客户选择。框架组合四个步骤：（1）使用经典客户端选择方法自动收集“选择得分”对数据； （2）在此数据上训练编码器 - 评估器 - 编码器框架以结构连续的表示空间； （3）在此空间中启用基于梯度的优化，以进行最佳客户选择； （4）通过使用光束搜索训练有素的解码器来生成最佳客户端选择。FedGC通过更全面，可推广和高效，同时选择模型性能，延迟和能力消费来优于传统方法。通过广泛的实验分析证明了FedGC的有效性。
有效的联合机器学习方法
近年来，联邦学习（FL）作为分布式机器学习范式引起了极大的关注。为了促进“被遗忘的权利”的实施，Feder-Eted Machine Unrearning（FMU）的概念也出现了。但是，当前的FMU方法通常涉及额外的耗时步骤，并且可能没有全面的未学习能力，这使得它们在实际的FL情况下的实用性降低了。在本文中，我们介绍了Fedau，这是一个创新有效的FMU框架，旨在克服这些限制。具体来说，Fedau将轻量级的辅助辅助模块置于学习过程中，并采用直接的线性操作来促进学习。这种方法消除了对耗时的步骤的要求，使其适合FL。此外，Fedau表现出了惊人的多功能性。它不仅使多个客户能够同时执行学习任务，还可以支持各种粒度级别的学习，包括各个数据示例，特定类别，甚至在客户级级别。我们对MNIST，CIFAR10和CI-FAR100数据集进行了扩展实验，以评估Fedau的性能。结果表明，在保持模型准确性的同时，Fedau效率地实现了所需的未学习效果。
基于事件的联合Q学习
我们介绍了基于事件的QAVG（EBQAVG）算法，该算法将基于事件的通信集成到联合Q学习中。QAVG由（Jin等人，2022），在局部计算和全局聚集之间交替。每个代理都会在服务器汇总所有N代理的值函数之前执行其值函数的多个本地更新。为了提高沟通效率，连续的聚集之间执行了几个本地更新。遵循相同的本地更新和聚合结构，基于事件的QAVG算法使代理只有在发生重大更改时才可以将Q-table更新传达给中央服务器，从而减少了不必要的通信开销。我们提供了算法及其通信协议的详细描述。
dauth：联合私人蜂窝网络的弹性身份验证体系结构
我们提出了Dauth，这是一种蜂窝网络中设备身份验证的方法，它重构了Au-thentical的职责，可以使多个小型的私人蜂窝网络共同融合在一起，以提供比自己可以实现的更可靠和更弹性的服务。Dauth设计为与现成的4G和5G蜂窝设备兼容的后区，今天可以逐步部署。它使用加密的秘密共享以及与备份网络一起存储的敏感数据与非敏感公共目录数据之间的关注点，以在不同和不信任组织之间使用多种冗余节点进行安全扩展身份验证。具体来说，它允许在没有家庭网络的情况下代表其家庭网络收集预配置的备份网络，以代表其家庭网络。我们通过活跃的联邦社区网络的生产设备评估了Dauth的性能，发现它能够与现有系统一起使用。我们使用模拟的5G运行进行评估，发现它的性能与低负载下的基于云的独立5G核心相当，并且由于其先天负载共享属性而在高负载下优于集中式核心。
pilora：用于联邦课堂学习的原型指导增量洛拉
摘要。现有的联合学习方法在涉及数据隐私和非IID数据的情况下有效地处理了分散的学习。但是，在现实情况下，每个客户端都动态学习新类，要求全局模型对所有可见的类进行分类。有效地减轻灾难性遗忘和数据异质性，我们提出了一种名为Pilora的简单有效方法。一方面，我们采用原型学习来学习更好的功能表示形式，并利用原型和类特征之间的启发式信息来设计原型重新重量调节，以解决由数据异质性引起的分类器偏见而无需重新培训分类器。另一方面，我们将增量学习视为学习独特的任务向量并在不同的Lora参数中编码它们的过程。因此，我们提出了增量的洛拉（Lora）来减轻灾难性遗忘。标准数据集的实验结果表明，我们的方法的表现优于最先进的方法。更重要的是，我们的方法在不同的环境和数据杂基的程度上表现出强大的稳固性和优越性。该代码可从https://github.com/ghy0501/pilora获得。