由于沟通成本高,联合学习(FL)系统需要采样每一轮培训的客户的子集。因此,客户采样在FL系统中起着重要作用,因为它影响了用于训练机器学习模型的优化算法的收敛速率。尽管其重要性,但如何有效地对客户进行采样的工作有限。在本文中,我们将客户取样作为在线学习任务,并使用Bandit反馈进行,我们使用在线随机镜下降(OSMD)算法来解决,该算法旨在最大程度地减少采样差异。然后,我们在理论上展示了我们的采样方法如何在广泛使用的均匀采样上提高联合优化算法的收敛速度。通过模拟和实际数据实验,我们从经验上说明了拟议的客户采样算法的优势,而不是统一采样和现有的基于在线学习的采样策略。所提出的自适应采样程序适用于此处研究的FL概率,可用于改善随机优化程序的性能,例如随机梯度下降和随机坐标下降。
主要关键词