私人对抗土匪的速度更快

我们为对抗性土匪和土匪的问题设计了新的私人算法,并提供了专家建议。对于对抗性匪徒,我们简单有效地转换了任何非私有的匪徒算法到私人强盗算法。实例化我们使用现有的非私有强盗算法的转换给出了O(Ktε)O \ left的上限(\ frac {\ frac {\ sqrt {kt}}} {\ sqrt {\ sqrt {\ varepsilon}}}} O(ktlog⁡(kt)ε)o \ left(\ frac {\ sqrt {kt \ log(kt)}}} {\ varepsilon} \ right)o(εktlog(kt))特别是我们的算法…

来源:Apple机器学习研究

我们针对对抗性强盗和专家建议强盗的问题设计了新的差分隐私算法。对于对抗性强盗,我们给出了任何非私有强盗算法到私有强盗算法的简单有效的转换。使用现有的非私有老虎机算法实例化我们的转换给出了 O(KTε)O\left(\frac{\sqrt{KT}}{\sqrt{\varepsilon}}\right)O(ε​KT​​) 的遗憾上限,改进了现有上限 O(KTlog⁡(KT)ε)O\left(\frac{\sqrt{KT \log(KT)}}{\varepsilon}\right)O(εKTlog(KT)​​) 在所有隐私制度中。特别是,即使在 ε≤1T\varepsilon \leq \frac{1}{\sqrt{T}}ε≤T​1​ 时,我们的算法也允许亚线性预期后悔,从而建立了中央和本地差分隐私之间的第一个已知分离。对于有专家建议的强盗,我们给出第一个差分隐私算法,预期后悔 O(NTε),O(KTlog⁡(N)log⁡(KT)ε)O\left(\frac{\sqrt{NT}}{\sqrt{\varepsilon}}\right), O\left(\frac{\sqrt{KT\log(N)}\log(KT)}{\varepsilon}\right)O(ε​NT​​),O(εKTlog(N)​log(KT)​), 以及O~(N1/6K1/2T2/3log⁡(NT)ε1/3+N1/2log⁡(NT)ε)\tilde{O}\left(\frac{N^{1/6}K^{1/2}T^{2/3}\log(NT)}{\varepsilon^{1/3}} + \frac{N^{1/2}\log(NT)}{\varepsilon}\right)O~(ε1/3N1/6K1/2T2/3log(NT)​+εN1/2log(NT)​),其中KKK和NNN分别表示动作和专家的数量。 这些比率使我们能够获得小 KKK、大 KKK、NNN 和 ε\varepsilonε 的不同组合的次线性遗憾。

O(KTε)O\left(\frac{\sqrt{KT}}{\sqrt{\varepsilon}}\right)O(ε​KT​​) O(KTε)O\left(\frac{\sqrt{KT}}{\sqrt{\varepsilon}}\right) O(KTε) O (KTε) ( KTε KT K T ε ) O\left(\frac{\sqrt{KT}}{\sqrt{\varepsilon}}\right) O(ε​KT​​) (ε​KT​​) ε​KT​​ ε​KT​ ε​ KT​ O(KTlog⁡(KT)ε)O\left(\frac{\sqrt{KT \log(KT)}}{\varepsilon}\right)O(εKTlog(KT)​​) O(KTlog⁡(KT)ε)O\left(\frac{\sqrt{KT \log(KT)}}{\varepsilon}\right) O(KTlog⁡(KT)ε) (KTlog⁡(KT)ε) KTlog⁡(KT)ε KTlog⁡(KT) 日志 O\left(\frac{\sqrt{KT \log(KT)}}{\varepsilon}\right) O(εKTlog(KT)​​) (εKTlog(KT)​​) εKTlog(KT)​​ εKTlog(KT)​ KTlog(KT)​ l o g