我们针对两种主要的神经变异源提出了一种联合深度神经系统识别模型：刺激驱动和刺激条件波动。为此，我们结合了 (1) 最先进的刺激驱动活动深度网络和 (2) 灵活的、基于正则化流的生成模型来捕捉刺激条件变异，包括噪声相关性。这使我们能够端到端地训练模型，而无需与许多刺激条件波动的潜在状态模型相关的复杂概率近似。我们根据来自小鼠视觉皮层多个区域的数千个神经元对自然图像的反应来训练模型。我们表明，我们的模型在预测神经群体对新刺激（包括共享的刺激条件变异性）的反应分布方面优于以前的最先进模型。此外，它成功地学习了与瞳孔扩张等行为变量相关的群体反应的已知潜在因素，以及随大脑区域或视网膜位置系统变化的其他因素。总体而言，我们的模型准确地解释了神经变异的两个关键来源，同时避免了许多现有潜在状态模型相关的若干复杂性。因此，它提供了一种有用的工具，用于揭示导致神经活动变异的不同因素之间的相互作用。