基于能量的回归实用学习建议
机构名称:
¥ 2.0

近年来,基于能量的模型 (EBM) 在机器学习中经历了复苏,包括成为概率回归的有前途的替代方案。然而,基于能量的回归需要手动设计一个用于训练的提议分布,并且必须在测试时提供初始估计。我们通过引入一种概念上简单的方法来自动学习有效的提议分布来解决这两个问题,该方法由单独的网络头参数化。为此,我们得出了一个令人惊讶的结果,即得出一个统一的训练目标,该目标共同最小化从提议到 EBM 的 KL 分歧,以及 EBM 的负对数似然。在测试时,我们可以对训练过的提议进行重要性抽样,以有效评估学习到的 EBM 并产生独立的预测。此外,我们利用我们得出的训练目标,通过联合训练的基于能量的教师来学习混合密度网络 (MDN),在计算机视觉领域的四个真实世界回归任务中,其表现始终优于传统的 MDN 训练。代码可在 https://github.com/fregu856/ebms_proposals 获得。

基于能量的回归实用学习建议

基于能量的回归实用学习建议PDF文件第1页

基于能量的回归实用学习建议PDF文件第2页

基于能量的回归实用学习建议PDF文件第3页

基于能量的回归实用学习建议PDF文件第4页

基于能量的回归实用学习建议PDF文件第5页