具有重尾的私有随机凸优化：通过简单归约实现近似最优性

我们研究具有重尾梯度的差分隐私随机凸优化（DP-SCO）问题，其中我们假设样本函数的 Lipschitz 常数上有 kthk^{\text{th}}kth 矩界限，而不是统一界限。我们提出了一种新的基于约简的方法，使我们能够在重尾设置中获得第一个最优速率（最多对数因子），在 (ε,δ)(\varepsilon, \delta)(ε,δ) 近似差分隐私下实现误差 G2⋅1n+Gk⋅(dnε)1−1kG_2 \cdot \frac 1 {\sqrt n} + G_k \cdot (\frac{\sqrt d}{n\varepsilon})^{1 - \frac 1 k}G2​⋅n​1​+Gk​⋅(nεd​​)1−k1​，最多可达温和的 polylog(log⁡nδ)\textup{polylog}(\frac{\log n}{\delta})polylog(δlogn​) 因子，其中 G22G_2^2G22​ 和 GkkG_k^kGkk​ 是样本 Lipschitz 常数的 2nd2^{\text{nd}}2nd 和 kthk^{\text{th}}kth 矩界限几乎匹配 (Lowy 等人，2023) 的下限。

kthk^{\text{th}}kth kthk^{\text{th}} $kthk^\{\backslash text\{th\}\}$ kthk^{\text{th}} kth k th k^{\text{th}} kth kth kth k th th th 第 第 G2⋅1n+Gk⋅(dnε)1−1kG_2 \cdot \frac 1 {\sqrt n} + G_k \cdot (\frac{\sqrt d}{n\varepsilon})^{1 - \frac 1 k}G2​⋅n​1​+Gk​⋅(nεd​​)1−k1​ G2⋅1n+Gk⋅(dnε)1−1kG_2 \cdot \frac 1 {\sqrt n} + G_k \cdot (\frac{\sqrt d}{n\varepsilon})^{1 - \frac 1 k} G2⋅1n+Gk⋅(dnε)1−1kG_2 \cdot \frac 1 {\sqrt n} + G_k \cdot (\frac{\sqrt d}{n\varepsilon})^{1 - \frac 1 k} G2⋅1n+Gk⋅(dnε)1−1kG_2 \cdot \frac 1 {\sqrt n} + G_k \cdot (\frac{\sqrt d}{n\varepsilon})^{1 - \frac 1 k} G2⋅1n+Gk⋅(dnε)1−1k G2 G $2$ ⋅ 1n 1 n n + Gk G k ⋅ ( dnε d d nε n ε )1−1k ) 1−1k 1 - 1k 1 k G_2 \cdot \frac 1 {\sqrt n} + G_k \cdot (\frac{\sqrt d}{n\varepsilon})^{1 - \frac 1 k} G2​⋅n​1​+Gk​⋅(nεd​​)1−k1​ G2​⋅ G2​ G 2​ 2​ 2​ 2 2 2 2 ​ ⋅ n​1​+ n​1​ n​1​ n​1​ n​1​ n​1 n​ n​ n​ n​ n​ n​ n n n ​ 1 1 1 1 ​ + Gk​⋅ Gk​ G k​ k​ k​ k k k k ​ ⋅ (nεd​​)1−k1​ ( nεd​​ nεd​​ nεd​​ nεd​​ nεd​ nε nε nε n ε d​ d​ d​ d​ d​ d​ d d d ​ ​ )1−k1​ ) 1−k1​ 1−k1​ 1−k1​ 1−k1​ 1−k1​ 1−k1​ 1−k1​ 1 - k1​ k1​ k1​ k1​ k1 k k k k 1 1 1 1 (ε,δ)(\varepsilon, \delta)(ε,δ) (ε,δ)(\varepsilon, \delta) $(\epsilon ,\delta )(\backslash varepsilon,\; \backslash delta)$ (ε,δ)(\varepsilon, \delta) (ε,δ) ( ε , δ ) (\varepsilon, \delta) (ε,δ) (ε,δ) ( ε , δ ) 多对数 ( 日志⁡n