通过惰性算法进行私有在线学习

我们研究隐私在线学习问题，具体来说，就是专家在线预测 (OPE) 和在线凸优化 (OCO)。我们提出了一种新的转换方法，将惰性在线学习算法转换为隐私算法。我们利用现有的惰性算法将我们的转换应用于差异隐私 OPE 和 OCO，以解决这些问题。我们的最终算法获得了遗憾值，这显著改善了高隐私制度 ε≪1\varepsilon \ll 1ε≪1 中的遗憾值，对于 DP-OPE 获得 Tlog⁡d+T1/3log⁡(d)/ε2/3\sqrt{T \log d} + T^{1/3} \log(d)/\varepsilon^{2/3}Tlogd​+T1/3log(d)/ε2/3，对于 DP-OCO 获得 T+T1/3d/ε2/3\sqrt{T} + T^{1/3} \sqrt{d}/\varepsilon^{2/3}T​+T1/3d​/ε2/3。我们还用 DP-OPE 的下限补充了我们的结果，表明这些速率对于低切换隐私算法的自然系列是最佳的。

ε≪1\varepsilon \ll 1ε≪1 ε≪1\varepsilon \ll 1 $\epsilon \ll 1\backslash varepsilon\; \backslash ll\; 1$ ε≪1\varepsilon \ll 1 ε≪1 ε ≪ 1 \varepsilon \ll 1 ε≪1 ε≪ ε ≪ 1 1 Tlog⁡d+T1/3log⁡(d)/ε2/3\sqrt{T \log d} + T^{1/3} \log(d)/\varepsilon^{2/3}Tlogd​+T1/3log(d)/ε2/3 Tlog⁡d+T1/3log⁡(d)/ε2/3\sqrt{T \log d} + T^{1/3} \log(d)/\varepsilon^{2/3} $Tlogd+T1/3log(d)/\epsilon 2/3\backslash sqrt\{T\; \backslash log\; d\}\; +\; T^\{1/3\}\; \backslash log(d)/\backslash varepsilon^\{2/3\}$ Tlog⁡d+T1/3log⁡(d)/ε2/3\sqrt{T \log d} + T^{1/3} \log(d)/\varepsilon^{2/3} Tlog⁡d+T1/3log⁡(d)/ε2/3 Tlog⁡d Tlog⁡d T log ⁡ d + T1/3 T 1/3 1 / 3 log ⁡ ( d ) / ε2/3 ε 2/3 2 / 3 \sqrt{T \log d} + T^{1/3} \log(d)/\varepsilon^{2/3} Tlogd​+T1/3log(d)/ε2/3 Tlogd​+ Tlogd​ Tlogd​ Tlogd​ Tlogd Tlogd Tlogd T log g d ​ + T1/3log(d)/ε2/3 T1/3 T 1/3 1/3 1/3 1/3 1/3 1/3 1/3 log g ( d ) / ε2/3 ε 2/3 2/3 2/3 2/3 2/3 2/3 2/3 2/3 T+T1/3d/ε2/3\sqrt{T} + T^{1/3} \sqrt{d}/\varepsilon^{2/3}T​+T1/3d​/ε2/3 T+T1/3d/ε2/3\sqrt{T} + T^{1/3} \sqrt{d}/\varepsilon^{2/3} T+T1/3d/ε2/3\sqrt{T} + T^{1/3} \sqrt{d}/\varepsilon^{2/3} $T+T1/3d/\epsilon 2/3\backslash sqrt\{T\}\; +\; T^\{1/3\}\; \backslash sqrt\{d\}/\backslash varepsilon^\{2/3\}$ T+T1/3d/ε2/3 T T + T1/3 T 1/3 1 / 3 d d / ε2/3 ε 2/3 2 / 3 \sqrt{T} + T^{1/3} \sqrt{d}/\varepsilon^{2/3} T​+T1/3d​/ε2/3 T​+ T​ T​ T​ T T T T ​ + T1/3d​/ε2/3 T1/3 T 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 d​ d​ d​ d d d d ​ / ε2/3 ε 2/3 2/3 2/3 2/3 2/3 2/3 2/3 2/3