基于能量的模型 (EBM) 是强大的概率模型 [8, 44],但由于配分函数的原因,其采样和密度评估难以处理。因此,EBM 中的推理依赖于近似采样算法,导致模型和推理不匹配。受此启发,我们将采样器诱导分布视为感兴趣的模型,并最大化该模型的似然。这产生了一类能量启发模型 (EIM),它结合了学习到的能量函数,同时仍提供精确样本和可处理的对数似然下限。我们基于截断拒绝抽样、自归一化重要性抽样和汉密尔顿重要性抽样描述和评估了此类模型的三个实例。这些模型的表现优于或相当与最近提出的学习接受/拒绝采样算法 [ 5 ],并为排序噪声对比估计 [ 34 , 46 ] 和对比预测编码 [ 57 ] 提供了新的见解。此外,EIM 使我们能够概括多样本变分下界 [ 9 ] 和辅助变量变分推断 [ 1 , 63 , 59 , 47 ] 之间的最新联系。我们展示了最近的变分界限 [ 9 , 49 , 52 , 42 , 73 , 51 , 65 ] 如何与 EIM 统一为变分家族。
主要关键词