私人查找二阶固定点

在差分隐私约束下，寻找一阶平稳点（FOSP）和二阶平稳点（SOSP）之间存在差距，并且目前还不清楚私下寻找 SOSP 是否比寻找 FOSP 更具挑战性。具体来说，Ganesh 等人。 (2023) 声称可以用 α=O~(1n1/3+(dnϵ)3/7)\alpha=\tilde{O}(\frac{1}{n^{1/3}}+(\frac{\sqrt{d}}{n\epsilon})^{3/7})α=O~(n1/31​+(nϵd​​)3/7) 找到 α\alphaα-SOSP，其中 nnn 是数据集大小，ddd 是维度，ϵ\epsilonϵ 是差分隐私参数。然而，最近的分析揭示了其鞍点逃逸过程中的一个问题，导致保证较弱。基于 SpiderBoost 算法框架，我们提出了一种使用自适应批量大小并结合二叉树机制的新方法。我们的方法不仅纠正了这个问题，还改进了私下寻找 SOSP 的结果，实现了α=O~(1n1/3+(dnϵ)1/2)\alpha=\tilde{O}(\frac{1}{n^{1/3}}+(\frac{\sqrt{d}}{n\epsilon})^{1/2})α=O~(n1/31​+(nϵd​​)1/2)。这个改进的界限与寻找 FOSP 的最新技术相匹配，表明私下寻找 SOSP 可能无需额外费用。

α\alphaα α\alpha α \alpha α=O~(1n1/3+(dnϵ)3/7)\alpha=\tilde{O}(\frac{1}{n^{1/3}}+(\frac{\sqrt{d}}{n\epsilon})^{3/7})α=O~(n1/31​+(nϵd​​)3/7) α=O~(1n1/3+(dnϵ)3/7)\alpha=\tilde{O}(\frac{1}{n^{1/3}}+(\frac{\sqrt{d}}{n\epsilon})^{3/7}) α=O~(1n1/3+(dnϵ)3/7) = O~ O ~ ( 1n1/3 1 n1/3 n 1/3 / 3 + dnϵ d nϵ ϵ )3/7 ) 3/7 7 \alpha=\tilde{O}(\frac{1}{n^{1/3}}+(\frac{\sqrt{d}}{n\epsilon})^{3/7}) α=O~(n1/31​+(nϵd​​)3/7) α= O~(n1/31​+ n1/31​ n1/31 ​ (nϵd​​)3/7) nϵd​​ nϵd​ d​ nnn nn ddd dd ϵ\epsilonϵ ϵ\epsilon \epsilon α=O~(1n1/3+(dnϵ)1/2)\alpha=\tilde{O}(\frac{1}{n^{1/3}}+(\frac{\sqrt{d}}{n\epsilon})^{1/2})α=O~(n1/31​+(nϵd​​)1/2) α=O~(1n1/3+(dnϵ)1/2)\alpha=\tilde{O}(\frac{1}{n^{1/3}}+(\frac{\sqrt{d}}{n\epsilon})^{1/2}) α=O~(1n1/3+(dnϵ)1/2) )1/2 1/2 2 \alpha=\tilde{O}(\frac{1}{n^{1/3}}+(\frac{\sqrt{d}}{n\epsilon})^{1/2}) α=O~(n1/31​+(nϵd​​)1/2) (nϵd​​)1/2)