我们针对两种主要的神经变异源提出了一种联合深度神经系统识别模型:刺激驱动和刺激条件波动。为此,我们结合了 (1) 最先进的刺激驱动活动深度网络和 (2) 灵活的、基于正则化流的生成模型来捕捉刺激条件变异,包括噪声相关性。这使我们能够端到端地训练模型,而无需与许多刺激条件波动的潜在状态模型相关的复杂概率近似。我们根据来自小鼠视觉皮层多个区域的数千个神经元对自然图像的反应来训练模型。我们表明,我们的模型在预测神经群体对新刺激(包括共享的刺激条件变异性)的反应分布方面优于以前的最先进模型。此外,它成功地学习了与瞳孔扩张等行为变量相关的群体反应的已知潜在因素,以及随大脑区域或视网膜位置系统变化的其他因素。总体而言,我们的模型准确地解释了神经变异的两个关键来源,同时避免了许多现有潜在状态模型相关的若干复杂性。因此,它提供了一种有用的工具,用于揭示导致神经活动变异的不同因素之间的相互作用。
强化学习的应用(RL),尽管缺乏有关受控系统潜在状态的完整信息,但在该范围内,学会学会做出一系列裁定,即它们在国家的部分观察性下起作用,但无处不在。部分可观察到的RL可能很难 - 众所周知的信息理论结果表明,在最坏情况下,学习部分可用的马尔可夫决策过程(POMDP)需要指数级的样本。然而,这并不排除在学习是可以解决的庞大的POMDP的大型子类的存在。在本文中,我们确定了这样的子类,我们称之为弱揭示的POMDP。这个家庭排除了POMDP的病理实例,在某种程度上,观察结果是无知的,从而使学习艰难。我们证明,对于弱揭示了POMDP,一种简单的算法结合了乐观和最大似然估计(MLE),以确保保证多样性样本复杂性。据我们所知,这是从胜过pomdps中的相互作用中学习的第一个可证明的样本效果结果,其中潜在状态的数量可以大于观测值的数量。
有人提出,大脑使用概率生成模型来最佳地解释感官信息。这一假设已在不同框架中形式化,重点是解释不同的现象。一方面,经典预测编码理论提出了如何通过采用局部突触可塑性的神经元网络来学习概率模型。另一方面,神经采样理论已经证明了随机动力学如何使神经回路能够表示环境潜在状态的后验分布。这些框架通过变分过滤结合在一起,将神经采样引入预测编码。在这里,我们考虑一种用于静态输入的变分过滤变体,我们将其称为蒙特卡罗预测编码 (MCPC)。我们证明,预测编码与神经采样的结合会产生一个使用局部计算和可塑性学习精确生成模型的神经网络。MCPC 的神经动力学在存在感官输入的情况下推断潜在状态的后验分布,并可以在没有感官输入的情况下生成可能的输入。此外,MCPC 还捕捉了感知任务期间神经活动变化的实验观察结果。通过结合预测编码和神经采样,MCPC 可以解释之前由这些单独框架解释的两组神经数据。
神经科学中的一个常见问题是阐明行为上重要的变量(例如头部方向、空间位置、即将发生的动作或心理空间变换)的集体神经表征。通常,这些潜在变量是实验者无法直接访问的内部构造。在这里,我们提出了一种新的概率潜在变量模型,以无监督的方式同时识别潜在状态和每个神经元对其表征的贡献方式。与以前假设欧几里得潜在空间的模型相比,我们接受这样一个事实,即潜在状态通常属于对称流形,例如球面、环面或各种维度的旋转群。因此,我们提出了流形高斯过程潜在变量模型 (mGPLVM),其中神经响应来自 (i) 存在于特定流形上的共享潜在变量,以及 (ii) 一组非参数调整曲线,确定每个神经元如何对表征做出贡献。可以使用具有不同拓扑结构的模型的交叉验证比较来区分候选流形,而变分推理可以量化不确定性。我们在几个合成数据集以及果蝇椭圆体的钙记录和小鼠前背丘脑核的细胞外记录上证明了该方法的有效性。众所周知,这些电路都编码头部方向,而 mGPLVM 正确地恢复了代表单个角度变量的神经群体所期望的环形拓扑。
灵活、目标导向的行为是人类生活的一个基本方面。基于自由能最小化原理,主动推理理论从计算神经科学的角度形式化了这种行为的产生。基于该理论,我们引入了一种输出概率、时间预测、模块化的人工神经网络架构,该架构处理感觉运动信息,推断其世界中与行为相关的方面,并调用高度灵活、目标导向的行为。我们表明,我们的架构经过端到端训练以最小化自由能的近似值,开发出可以解释为可供性图的潜在状态。也就是说,新出现的潜在状态根据本地环境发出信号,表明哪些动作会导致哪些效果。结合主动推理,我们表明可以调用灵活的、目标导向的行为,并结合新出现的可供性图。因此,我们的模拟代理可以灵活地穿越连续空间,避免与障碍物发生碰撞,并首选能够以高确定性到达目标的路径。此外,我们还表明,学习后的代理非常适合跨环境进行零样本泛化:在少数固定环境中训练代理后,这些环境中的障碍物和其他地形会影响其行为,它在程序生成的环境中的表现同样出色,这些环境包含不同数量的障碍物和不同位置的各种大小的地形。
我们引入了一个新框架,用于从脑记录中超现实地重建感知到的自然刺激。为此,我们在神经解码流程的最早阶段采用了生成对抗网络 (GAN),通过获取功能性磁共振成像数据作为受试者感知的由 GAN 的生成器网络创建的面部图像。随后,我们使用线性解码方法从脑数据中预测 GAN 的潜在状态。因此,获得了刺激 (重新) 生成所需的潜在表示,从而实现了突破性的图像重建。总之,我们开发了一种非常有前途的方法来解码现实世界数据的神经表征,这可能为系统地分析功能性大脑中的神经信息处理铺平道路。
众所周知,维持特定记忆的确切神经元(神经集合)会随着每次试验而变化。这引出了一个问题:面对这种表征漂移,大脑如何实现稳定性。在这里,我们证明这种稳定性出现在神经活动产生的电场水平上。我们表明,电场携带有关工作记忆内容的信息。反过来,电场可以充当“护栏”,将高维变量神经活动引导到稳定的低维路线上。我们获得了与每个记忆相关的潜在空间。然后,我们通过将潜在空间映射到不同的皮质斑块(组成神经集合)并重建斑块之间的信息流来确认电场的稳定性。稳定的电场可以允许潜在状态在大脑区域之间转移,这与现代印迹理论一致。
自1987年第一种抗逆转录病毒疗法(ART)药物批准以来[1],已经对治疗策略进行了巨大改进,从而使人们对HIV-1(PLWH)的人们进行了极大的改善[2]。但是,ART无法消除综合的病毒,后者在受感染细胞内持续存在潜在状态。因此,由于停用治疗导致血浆病毒血症的重新出现,因此需要对ART进行终身遵守[3]。以这种方式,依从性是健康结果的关键决定因素,并防止抗逆转录病毒耐药性发展[3-7]。潜在的HIV-1储存剂定义为具有复制能力但具有转录性无效的HIV-1病毒病毒的长寿命池。尽管记忆CD4þT细胞是主要的储层,但其他免疫细胞也可能与HIV-1持久性相关,例如单核细胞,巨噬细胞和树突状细胞[8]。
为了找到一个可解释的解决方案,需要一个简单而有效的模型来在许多会话中共享行为相关的神经变化。同样,动物的行为不仅受当前任务的影响,也受动物以前试验的经验的影响。例如,[10]发现小鼠的决策表现出在数十到数百次试验中持续存在的内部状态,这可以通过隐马尔可夫模型(HMM)有效地建模。这些潜在状态可以在不同动物和实验会话中重现。许多神经科学实验表现出由这种可重现的潜在状态引起的试验间行为相关性。除了对会话间神经相似性进行建模之外,明确考虑连续试验中的这些行为相关性还可以潜在地提高神经解码性能。在这项工作中,我们开发了两种互补的方法来利用这些神经和行为相关性来改进神经解码。对于神经数据,我们采用多会话降秩模型,该模型在跨会话时具有相似的神经活动时间模式,同时保留会话特定的差异以适应个体差异。对于行为数据,我们使用多会话状态空间模型从多个会话中动物行为的试验间相关性中学习潜在行为状态。然后使用这些学习到的神经和行为表征来改进单次试验、单会话解码器。与现有的通过复杂黑盒模型在会话间共享数据的深度学习方法不同,我们的模型简单、可解释性强且易于拟合。我们使用来自国际脑实验室 [ 11 , 12 ] 的小鼠神经像素记录来评估我们的神经和行为数据共享模型,其中包括 433 个会话和 270 个大脑区域。结果显示,在不同行为任务中解码准确率有所提高。我们的方法在计算上是高效的,使我们能够创建与行为相关的时间尺度的全脑图,并识别与每个行为任务相关的关键神经元。