Omnipredictors for Regression and the Approximate Rank of Convex Functions
考虑监督学习设置,其目标是学习根据分布中的点 x 预测标签 y。损失函数类 L 和假设类 C 的全能预测器是这样的预测器,对于 L 中的每个损失,其预测的预期损失小于 C 中的最佳假设。自从 [GKR+21] 的工作引入这一概念以来,在 y∈{0,1} 的二元标签设置中已经有大量工作,但对于 y∈[0,1] 可以是连续的回归设置,人们知之甚少。我们的主要概念贡献是充分的概念……
On a Neural Implementation of Brenier's Polar Factorization
1991 年,Brenier 证明了一个定理,该定理将方阵的极分解(分解为 PSD ×\times× 单位矩阵)推广到任何矢量场 F:Rd→RdF:\mathbb{R}^d\rightarrow \mathbb{R}^dF:Rd→Rd。该定理称为极分解定理,指出任何场 FFF 都可以恢复为凸函数 uuu 的梯度与保测度映射 MMM 的组合,即 F=∇u∘MF=\nabla u \circ MF=∇u∘M。我们提出了这一影响深远的理论结果的实际实现,并探索了机器学习中的可能用途。该定理与… 密切相关
Asymmetric Certified Robustness via Feature-Convex Neural Networks
通过特征凸神经网络实现非对称认证稳健性 TLDR:我们提出了非对称认证稳健性问题,它只需要对一个类进行认证稳健性,并反映了现实世界的对抗场景。这种集中设置使我们能够引入特征凸分类器,该分类器可在毫秒级产生闭式和确定性的认证半径。图 1. 特征凸分类器及其对敏感类输入的认证的说明。该架构由 Lipschitz 连续特征图 $\varphi$ 和学习到的凸函数 $g$ 组成。由于 $g$ 是凸的,因此它在 $\varphi(x)$ 处的切平面全局欠近似,从而在特征空间中产生认证范数球。然后,$\varphi$ 的 Lipschitz 性会在原始输入空间中产生适当缩放的证书。尽管深度学习分类器被广泛