混洗模型中的私有向量均值估计:最佳速率需要许多消息

我们研究了隐私混洗模型中的隐私向量均值估计问题,其中 nnn 个用户各自在 ddd 维度中都有一个单位向量。我们提出了一种新的多消息协议,该协议使用每个用户 O~(min⁡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right)O~(min(nε2,d)) 条消息来实现最优误差。此外,我们表明,任何实现最优误差的(无偏)协议都要求每个用户发送 Ω(min⁡(nε2,d)/log⁡(n))\Omega(\min(n\varepsilon^2,d)/\log(n))Ω(min(nε2,d)/log(n)) 条消息,证明了我们的消息复杂度在对数级上达到最优……

来源:Apple机器学习研究

我们研究了隐私混洗模型中的隐私向量均值估计问题,其中 nnn 个用户各自在 ddd 维度中都有一个单位向量。我们提出了一种新的多消息协议,该协议使用 O~(min⁡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right)O~(min(nε2,d)) 条消息/用户实现最优误差。此外,我们表明,任何实现最优误差的(无偏)协议都要求每个用户发送 Ω(min⁡(nε2,d)/log⁡(n))\Omega(\min(n\varepsilon^2,d)/\log(n))Ω(min(nε2,d)/log(n)) 条消息,证明了我们的消息复杂度在对数因子范围内的最优性。

nnn nn nn nn n n n n n n ddd dd dd dd div> d d d d d d O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right)O~(min(nε2,d)) O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) div> O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) O~(minâ¡(nε2,d)) O~ O ~ (minâ¡(nε2,d)) ( min â¡ ( n ε2 ε 2 , d ) ) \tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) O~(min(nε2,d)) O~(min(nε2,d)) O~ O~ O~ O~ O O ~ ~ ~ (min(n ε2,d)) ( ( min ( n ε2 ε 2 2 2 2 2 2 2 , d ) ) ) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\ min(n\varepsilon^2,d)/\log(n))Ω(min(nε2,d)/log(n)) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\min(n\varepsilon^2,d)/\log(n)) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\min(n\varepsilon^2,d)/\log(n)) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\min(n\varepsilon^2,d)/\log(n)) > Ω(minâ¡(nε2,d)/logâ¡(n)) Ω ( min â¡ ( n ε2 ε 2 , d ) / log â¡ ( n ) ) \Omega(\min(n\varepsilon^2,d) )/\log(n)) Ω(min(nε2,d)/log(n)) Ω(min(nε2,d)/log(n)) Ω ( min ( n ε2 ε 2 2 2 2 2 2 2 , d ) div> / log g ( n )) O(dnd/(d+2)Δ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)})O(dnd/(d+2)Δ4/(d+2)) O(dnd/(d+2)Δ4/(d+2))\ma thcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)εâ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)Δ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)Δ4/(d+2)) O ( d > nd/(d+2) d d d d d d O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right)O~(min(nε2,d)) O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) div> O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) O~(minâ¡(nε2,d)) O~ O ~ (minâ¡(nε2,d)) ( min â¡ ( n ε2 ε 2 , d ) ) \tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) O~(min(nε2,d)) O~(min(nε2,d)) O~ O~ O~ O~ O O ~ ~ ~ (min(n ε2,d)) ( ( min ( n ε2 ε 2 2 2 2 2 2 2 , d ) ) ) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\ min(n\varepsilon^2,d)/\log(n))Ω(min(nε2,d)/log(n)) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\min(n\varepsilon^2,d)/\log(n)) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\min(n\varepsilon^2,d)/\log(n)) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\min(n\varepsilon^2,d)/\log(n)) > Ω(minâ¡(nε2,d)/logâ¡(n)) Ω ( min â¡ ( n ε2 ε 2 , d ) / log â¡ ( n ) ) \Omega(\min(n\varepsilon^2,d) )/\log(n)) Ω(min(nε2,d)/log(n)) Ω(min(nε2,d)/log(n)) Ω ( min ( n ε2 ε 2 2 2 2 2 2 2 , d ) div> / log g ( n )) O(dnd/(d+2)Δ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)})O(dnd/(d+2)Δ4/(d+2)) O(dnd/(d+2)Δ4/(d+2))\ma thcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)εâ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)Δ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)Δ4/(d+2)) O ( d > nd/(d+2) O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) O~(minâ¡(nε2,d))\tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) O~(minâ¡(nε2,d)) O~ O ~ (minâ¡(nε2,d)) ( min â¡ ( n ε2 ε 2 , d ) ) \tilde{\mathcal{O}}\left(\min(n\varepsilon^2,d)\right) O~(min(nε2,d)) O~(min(nε2,d)) O~ O~ O~ O~ O O ~ ~ ~ (min(n ε2,d)) ( ( min ( n ε2 ε 2 2 2 2 2 2 2 , d ) ) ) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\ min(n\varepsilon^2,d)/\log(n))Ω(min(nε2,d)/log(n)) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\min(n\varepsilon^2,d)/\log(n)) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\min(n\varepsilon^2,d)/\log(n)) Ω(minâ¡(nε2,d)/logâ¡(n))\Omega(\min(n\varepsilon^2,d)/\log(n)) > Ω(minâ¡(nε2,d)/logâ¡(n)) Ω ( min â¡ ( n ε2 ε 2 , d ) / log â¡ ( n ) ) \Omega(\min(n\varepsilon^2,d) )/\log(n)) Ω(min(nε2,d)/log(n)) Ω(min(nε2,d)/log(n)) Ω ( min ( n ε2 ε 2 2 2 2 2 2 2 , d ) div> / log g ( n )) O(dnd/(d+2)Δ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)})O(dnd/(d+2)Δ4/(d+2)) O(dnd/(d+2)Δ4/(d+2))\ma thcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)εâ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)Δ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)Δ4/(d+2)) O ( d > nd/(d+2) / log g ( n )) O(dnd/(d+2)Δ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)})O(dnd/(d+2)Δ4/(d+2)) O(dnd/(d+2)Δ4/(d+2))\ma thcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)εâ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)Δ4/(d+2))\mathcal{O}(dn^{d/(d+2)}\varepsilon^{-4/(d+2)}) O(dnd/(d+2)Δ4/(d+2)) O ( d nd/(d+2) n d/(d+2) d / ( d + 2 ) 4/(d+2) ε 4/(d+2) 4 / ( d + 2 ) ) ( d n d / ( d +