基于能量的模型(EBM)最近收到了感兴趣的插入量,并已应用于现实的图像产生(Han等,2019; Du&Mordatch,2019年),3D形状形状的合成(Xie等,2018b),脱离分布和对抗性的鲁棒性(Lee等人,2018年; du&Morth。 (Hinton,1999; Du等,2020a),记忆建模(Bartunov等,2019),文本生成(Deng等,2020),视频生成(Xie等,2017),增强学习(Haarnoja等人(Haarnoja et al。,2017; Du等,2019; Du等,protein; et et and of Focein; eft al。,protein Dive and Flive and Div); Du等人,2020b)和生物学上的培训(Scellier&Bengio,2017年)。对比性差异是(Hinton,2002)提出的训练EBM的流行而优雅的程序,可降低训练数据的能量并提高模型产生的采样综合的能量。模型进行了模型是通过MCMC过程(通常是Gibbs采样或Langevin Dynamics)生成的,从而利用了对采样和随机优化的广泛研究。对比差异的吸引力是其简单性和可扩展性。它不需要培训额外的辅助网络(Kim&Bengio,2016; Dai等,2019)(引入其他调整和平衡需求),可以用来构成零射模型。
主要关键词