提高了私人非齿非convex优化的样本复杂性

我们研究既不平滑也不凸的随机和经验目标的差分隐私 (DP) 优化算法，并提出返回具有样本复杂性界限的 Goldstein 驻点的方法，以改进现有的工作。我们首先提供单通道 (ϵ,δ)(\epsilon,\delta)(ϵ,δ)-DP 算法，只要数据集的大小，该算法就会返回 (α,β)(\alpha,\beta)(α,β)-驻点Ω~(1/αβ3+d/ϵαβ2+d3/4/ϵ1/2αβ5/2)\widetilde{\Omega}\left(1/\alpha\beta^{3}+d/\epsilon\alph a\beta^{2}+d^{3/4}/\epsilon^{1/2}\alpha\beta^{5/2}\right)Ω(1/αβ3+d/ϵαβ2+d3/4/ϵ1/2αβ5/2),比Zhang等人的算法小 Ω(d)\Omega(\sqrt{d})Ω(d​) 倍。 [2024] 对于此任务，其中 ddd 是维度。然后我们提供了一种多通道多项式时间算法，该算法进一步将样本复杂度提高到Ω~(d/β2+d3/4/ϵα1/2β3/2)\widetilde{\Omega}\left(d/\beta^2+d^{3/4}/\epsilon\alpha^{1/2}\beta^{3/2}\right)Ω(d/β2+d3/4/ϵα1/2β3/2)，通过设计一个样本高效的 ERM 算法，并证明 Goldstein 平稳点从经验损失推广到总体损失。

(ϵ,δ)(\epsilon,\delta)(ϵ,δ) (ϵ,δ)(\epsilon,\delta) (ϵ,δ) ( ϵ , δ ) (\epsilon,\delta) (α,β)(\alpha,\beta)(α,β) (α,β)(\alpha,\beta) (α,β) α β (\alpha,\beta) Ω~(1/αβ3+d/ϵαβ2+d3/4/ϵ1/2αβ5/2)\widetilde{\Omega}\left(1/\alpha\beta^{3}+d/\epsilon\alp ha\beta^{2}+d^{3/4}/\epsilon^{1/2}\alpha\beta^{5/2}\right)Ω(1/αβ3+d/ϵαβ2+d3/4/ϵ1/2αβ5/2) Ω~(1/αβ3+d/ϵαβ2+d3/4/ϵ1/2αβ5/2)\widetilde{\Omega}\left(1/\alpha\beta^{3}+d/\epsilon\alpha\beta^{2}+d^{3/4}/\epsilon^{1/2}\alpha\beta^{5/2}\right) Ω~(1/αβ3+d/ϵαβ2+d3/4/ϵ1/2αβ5/2) Ω~ Ω ~ (1/αβ3+d/ϵαβ2+d3/4/ϵ1/2αβ5/2) 1 / β3 3 + d β2 2 d3/4 3/4 4 ϵ1/2 1/2 β5/2 5/2 5 \widetilde{\Omega}\left(1/\alpha\beta^{3}+d/\epsilon\alpha\beta^{2}+d^{3/4}/\epsilon^{1/2}\alpha\beta^{5/2}\right) Ω(1/αβ3+d/ϵαβ2+d3/4/ϵ1/2αβ5/2) 1/ Ω(d)\Omega(\sqrt{d})Ω(d​) Ω(d)\Omega(\sqrt{d}) Ω(d) \Omega(\sqrt{d}) Ω(d​) d​ ​ ddd dd Ω~(d/β2+d3/4/ϵα1/2β3/2) (d/β2+d3/4/ϵα1/2β3/2) α1/2 β3/2 3/2 Ω(d/β2+d3/4/ϵα1/2β3/2)