详细内容或原文请订阅后点击阅览
联合变分不等式的更快速度
在本文中，我们研究了用于解决随机变分不等式（VI）的联合优化，这是近年来引起越来越多关注的问题。尽管取得了实质性进展，但现有的收敛速度与联合凸优化已知的最先进边界之间仍然存在显着差距。在这项工作中，我们通过建立一系列改进的收敛率来解决这一限制。首先，我们证明，对于一般的平滑和单调变分不等式，经典的 Local Extra SGD 算法在精细分析下可以提供更严格的保证……
来源:Apple机器学习研究在本文中，我们研究了用于解决随机变分不等式（VI）的联合优化，这是近年来引起越来越多关注的问题。尽管取得了实质性进展，但现有的收敛速度与联合凸优化已知的最先进边界之间仍然存在显着差距。在这项工作中，我们通过建立一系列改进的收敛率来解决这一限制。首先，我们证明，对于一般的平滑和单调变分不等式，经典的 Local Extra SGD 算法在精细分析下可以提供更严格的保证。接下来，我们确定了 Local Extra SGD 的固有限制，该限制可能导致过多的客户端漂移。受这一观察的启发，我们提出了一种新算法，即具有额外步骤的局部不精确近点算法（LIPPAX），并表明它可以减轻客户端漂移并在多种机制中实现改进的保证，包括有界 Hessian、有界算子和低方差设置。最后，我们将结果扩展到联合复合变分不等式并建立改进的收敛保证。