关于 Brenier 极分解的神经实现

1991 年,Brenier 证明了一个定理,该定理将方阵的极分解(分解为 PSD ×\times× 单位矩阵)推广到任何矢量场 F:Rd→RdF:\mathbb{R}^d\rightarrow \mathbb{R}^dF:Rd→Rd。该定理称为极分解定理,指出任何场 FFF 都可以恢复为凸函数 uuu 的梯度与保测度映射 MMM 的组合,即 F=∇u∘MF=\nabla u \circ MF=∇u∘M。我们提出了这一影响深远的理论结果的实际实现,并探索了机器学习中的可能用途。该定理与… 密切相关

来源:Apple机器学习研究

1991 年,Brenier 证明了一个定理,该定理将方阵的极分解(分解为 PSD ×\times× 单位矩阵)推广到任何矢量场 F:Rd→RdF:\mathbb{R}^d\rightarrow \mathbb{R}^dF:Rd→Rd。该定理称为极分解定理,指出任何场 FFF 都可以恢复为凸函数 uuu 的梯度与保测度映射 MMM 的组合,即 F=∇u∘MF=\nabla u \circ MF=∇u∘M。我们提出了这一影响深远的理论结果的实际实现,并探索了在机器学习中的可能用途。该定理与最优传输 (OT) 理论密切相关,我们借鉴神经最优传输领域的最新进展,将潜在 uuu 参数化为输入凸神经网络。映射 MMM 可以使用 u∗u^*u∗(uuu 的凸共轭)通过恒等式 M=∇u∗∘FM=\nabla u^* \circ FM=∇u∗∘F 逐点评估,也可以作为辅助网络进行学习。由于 MMM 通常不是单射,因此我们考虑使用随机生成器估计可以近似原像测度 M−1M^{-1}M−1 的不适定逆映射的额外任务。我们说明了 Brenier 极分解在非凸优化问题中的可能应用,以及非对数凹密度的采样。

×\times× ×\times ×\times ×\times × × \times × × × × F:Rd→RdF:\mathbb{R}^d\rightarrow \mathbb{R}^dF:Rd→Rd F:Rd→RdF:\mathbb{R}^d\rightarrow \mathbb{R}^d F:Rd→RdF:\mathbb{R}^d\rightarrow \mathbb{R}^d F:Rd→RdF:\mathbb{R}^d\rightarrow \mathbb{R}^d F:Rd→Rd F : Rd R d → Rd R d F:\mathbb{R}^d\rightarrow \mathbb{R}^d F:Rd→Rd F: F : Rdâ Rd R d d d d d d d â Rd Rd R d d d d d d d FFF FF FF FF F F F F F F uuu uu uu uu u u u u u MMM MM MM MM M M M M M M F=âuâMF=\nabla u \circ MF=âuâM F=âuâMF=\nabla u \circ M MF=\nabla u \circ M F=âuâMF=\nabla u \circ M F=âuâM F = â u â M F=\nabla u \circ M F=âuâM F= F = âuâ â u M M uuu uu uu uu u u u u u u MMM MM MM MM M M M M M M uâu^ *uâ uâu^*uâ