现实世界应用中的私有联邦学习——案例研究

本文介绍了一种在边缘设备上使用私有联邦学习 (PFL) 进行机器学习模型训练的实现。我们引入了一种使用 PFL 解决使用用户私有数据训练模型的挑战的新框架。该框架可确保用户数据保留在单个设备上,只有必要的模型更新才会传输到中央服务器进行聚合,并提供隐私保障。我们详细介绍了我们的应用选择模型的架构,该模型结合了具有注意力机制的神经网络和通过不确定性管理进行歧义处理……

来源:Apple机器学习研究

具有差异隐私的联邦学习,即私有联邦学习 (PFL),可以在不损害隐私的情况下,在分布于用户设备上的私有数据上训练模型。PFL 对于具有固定数量参数的模型(例如神经网络)非常有效,因此梯度向量的维度也固定。此类模型包括神经网络语言模型,但不包括本文的主题标记器。训练标记器……

查看论文详情