我们引入了边缘化模型(M A MS),这是一个新的生成模型系列,用于高维离散数据。他们通过明确建模所有诱导的边际分布来提供可扩展和灵活的生成建模。边缘 - ization模型可以通过神经网络的单个正向通行的Arbi-Trary边缘概率快速近似,该概率克服了任意边缘推理模型的主要局限性,例如任何阶段的自动性自动化模型。MS还解决了在基于能量的训练的概述下,在训练任何阶段生成模量中遇到的可伸缩性瓶颈,在基于能量的培训的概述下,其目标是将学习分布与给定的DESIER概率匹配(由无标准的对数字概括性函数(例如能量或奖励功能)指定)。我们提出了学习边际的可扩展方法,该方法基于“边缘化自洽”的概念。我们将提出模型对各种离散数据分布(包括图像,文本,物理系统和分子)的有效性,以实现最大可能性和基于能量的培训设置。a MS在评估两个设置的边缘概率时达到了宏伟的加速顺序。对于基于能量的培训任务,M MS可以超出先前方法的规模,使高维问题的任何阶段生成型。代码可在github.com/princetonlips/mam上找到。
主要关键词