最近,密集的潜在变量模型已显示出令人鼓舞的结果,但是它们的分布式和潜在的代码使它们降低了易于解释,并且对噪声的影响较低。另一方面,稀疏表示更为简约,提供了更好的解释性和噪声稳健性,但是由于涉及的复杂性和计算成本,很难实现稀疏性。在此过程中,我们提出了一种新颖的无监督学习方法,以利用逐渐稀疏的尖峰和平板分布作为我们的先验,以在发电机模型的潜在空间上强化稀疏性。我们的模型由自上而下的发电网络组成,该网络将潜在变量映射到观测值。我们使用最大似然采样来推断发电机后方向的潜在变量,并且推理阶段的尖峰和平板正则化可以通过将非信息性潜在维度推动到零来引起稀疏性。我们的实验表明,学到的稀疏潜在表示保留了大多数信息,我们的模型可以学习解开的语义,并赋予潜在代码的解释性,并增强分类和denosing任务的鲁棒性。
主要关键词