用于用户级私有随机凸优化的更快算法

我们研究用户级差分隐私 (DP) 约束下的隐私随机凸优化 (SCO)。在这种情况下，有 nnn 个用户，每个用户拥有 mmm 个数据项，我们需要保护每个用户整个数据项集合的隐私。现有的用户级 DP SCO 算法在许多大规模机器学习场景中都不切实际，因为：(i) 它们对损失函数的平滑度参数做出了限制性假设，并要求用户数量随参数空间的维度呈多项式增长；或 (ii) 它们速度极慢，对于平滑损失至少需要 (mn)3/2(mn)^{3/2}(mn)3/2 次梯度计算，对于非平滑损失至少需要 (mn)3(mn)^3(mn)3 次计算。为了解决这些限制，我们提供了具有最新超额风险和运行时保证的新型用户级 DP 算法，而无需严格的假设。首先，我们在温和的平滑假设下开发了一种具有最先进超额风险的线性时间算法（对于非平凡的线性时间算法而言）。我们的第二个算法适用于任意平滑损失，并在 ≈(mn)9/8\approx (mn)^{9/8}≈(mn)9/8 梯度计算中实现最佳超额风险。第三，对于非平滑损失函数，我们在 n11/8m5/4n^{11/8} m^{5/4}n11/8m5/4 梯度计算中获得最佳超额风险。此外，我们的算法不需要用户数量随维度多项式增长。

nnn nn $nn$ nn n n n n n n 嗯 毫米 $毫米$ 毫米 米 米 米 米 米 米 (mn)3/2(mn)^{3/2}(mn)3/2 (百万)3/2(百万)^{3/2} $(百万)3/2(百万)^\{3/2\}$ (百万)3/2(百万)^{3/2} (百万)3/2 ( 米 n )3/2 ) 3/2 3 / 2 (百万)^{3/2} (百万)3/2 (百万)3/2 ( 百万 )3/2 ) 3/2 3/2 3/2 3/2 3/2 3/2 3/2 3/2 (mn)3(mn)^3(mn)3 (mn)3(mn)^3 $(mn)3(mn)^3$ (mn)3(mn)^3 (mn)3 ( 米 n )3 ) 3 (mn)^3 (mn)3 (mn)3 ( mn )3 ) 3 3 3 3 3 3 ≈(mn)9/8\approx (mn)^{9/8}≈(mn)9/8 ≈(mn)9/8\approx (mn)^{9/8} ≈(mn)9/8\approx (mn)^{9/8} $\approx (mn)9/8\backslash approx\; (mn)^\{9/8\}$ ≈(mn)9/8 ≈ ( m n )9/8 ) 9/8 9 / 8 \approx (mn)^{9/8} ≈(mn)9/8 ≈ ≈ (mn)9/8 ( mn )9/8 ) 9/8 9/8 9/8 9/8 9/8 9/8 9/8 9/8 9/8 9/8 n11/8m5/4n^{11/8} m^{5/4}n11/8m5/4 $n11/8m5/4n^\{11/8\}\; m^\{5/4\}$ n11/8m5/4n^{11/8} m^{5/4}n11/8m5/4