深度生成模型有两种类型:显式和隐式。前者定义了一种显式密度形式,允许似然推断;而后者则针对从随机噪声到生成样本的灵活转换。虽然这两类生成模型在许多应用中都表现出强大的能力,但单独使用时,它们都有各自的局限性和缺点。为了充分利用这两种模型并实现相互补偿,我们提出了一种新颖的联合训练框架,该框架通过 Stein 差异连接显式(非规范化)密度估计器和隐式样本生成器。我们表明,我们的方法 1) 通过核 Sobolev 范数惩罚和 Moreau-Yosida 正则化引入了新颖的相互正则化,2) 稳定了训练动态。从经验上讲,我们证明,与训练单个对应方相比,所提出的方法可以促进密度估计器更准确地识别数据模式并引导生成器输出更高质量的样本。当训练样本受到污染或有限时,新方法也显示出有希望的结果。
主要关键词