详细内容或原文请订阅后点击阅览
改进的联邦建模使用狄利克雷多项式混合的数据集
实际上，使用联邦学习进行训练的速度可能比标准集中式训练慢几个数量级。这严重限制了可以进行的实验和调整的数量，使得在给定任务上获得良好性能变得具有挑战性。服务器端代理数据可用于运行训练模拟，例如用于超参数调整。这可以通过减少在真实客户端上执行的调整运行次数来大大加快训练流程。然而，确保这些模拟准确反映动态是一项挑战……
来源:Apple机器学习研究实际上，使用联邦学习进行训练的速度可能比标准的集中式训练慢几个数量级。这严重限制了可以进行的实验和调整的数量，使得在给定任务上获得良好性能变得具有挑战性。服务器端代理数据可用于运行训练模拟，例如用于超参数调整。这可以通过减少在真实客户端上执行的调整运行次数来大大加快训练流程。然而，确保这些模拟准确反映真实联邦训练的动态是一项挑战。特别是，用于模拟的代理数据通常作为单个集中式数据集出现，没有划分为不同的客户端，并且以简单的方式划分这些数据可能会导致模拟不能很好地反映真实的联邦训练。在本文中，我们解决了如何以反映真实联邦客户端的统计异质性的方式划分集中式数据的挑战。我们提出了一种完全联合的、理论上合理的算法，该算法可以有效地学习真实客户端的分布，并在使用推断的分布从集中式数据创建模拟客户端时观察到改进的服务器端模拟。