。cc-by-nc-nd 4.0国际许可证(未经同行评审证明)获得的是作者/资助者,他授予Biorxiv授予Biorxiv的许可,以永久显示预印本。这是该版本的版权持有人,该版本发布于2024年6月14日。 https://doi.org/10.1101/2023.05.11.539934 doi:Biorxiv Preprint
图 1:对特定特征维度的注意力如何塑造神经特征维度图?A. 优先级图理论假设各种“特征维度图”用于根据其首选特征维度内的计算来索引视野中最重要的位置,并且这些图中的激活应根据观察者的目标进行缩放。如果正在进行的任务需要检测或辨别运动(例如,识别飞镖蜂鸟的运动方向),则相应“运动图”内的激活将增加与蜂鸟位置相关的重要性。运动图可以通过两种方式优先考虑超出空间注意力预期的局部效应的信息(例如,Sprague 等人,2018 年)。可以发生局部增强,这样只有具有关注特征的刺激的位置才会被优先考虑。或者,可以发生全局增强,这样整个地图上的激活被附加缩放,从而增加对任何位置关注特征维度的敏感度。这种类型的调制仍会驱动更强的目标表征,但当运动是目标相关特征维度时,还会在没有刺激的位置导致更强的反应。这里描绘了运动维度图,但调制同样适用于其他特征维度,例如颜色。B. 评估特征(运动)图中刺激位置和相反位置的激活可以区分局部和全局增强解释。两种模型都预测,当首选特征维度相关(例如运动;左)时,刺激将在刺激位置具有最大的激活。如果增强是局部的,那么相反位置的激活不应该在各种条件下改变(中间)。但是,如果存在全局增强,那么当运动与任务相关时,相反位置的激活应该增加。通过计算刺激和相反位置之间的激活差异,可以评估基于特征的调制的空间特异性(右)。如果运动图中注意运动条件的激活差异(刺激相反)较大,则增强是局部的。然而,如果关注颜色和运动条件之间的激活差异相似,则增强在特征维度图上是全局的。
如何解释感官信息取决于环境。然而,环境如何影响大脑中的感觉处理仍然难以捉摸。为了研究这个问题,我们结合了计算建模和小鼠皮质神经元的体内功能成像,这些神经元在触觉感官辨别任务的逆转学习过程中发挥作用。在学习过程中,第 2/3 层体感神经元增强了对奖励预测刺激的反应,这可以解释为顶端树突的增益放大。奖励预测误差减少,对结果预测的信心增加。在规则逆转后,外侧眶额皮质通过去抑制 VIP 中间神经元编码了一个表示信心丧失的环境预测误差。皮质区域中预测误差的层次结构反映在自上而下的信号中,这些信号调节初级感觉皮质中的顶端活动。我们的模型解释了大脑中如何检测到环境变化,以及不同皮质区域中的错误如何相互作用以重塑和更新感官表征。
为了解决映射,定位和导航的空间问题,Mam-Malian血统开发了惊人的空间表示。一个重要的空间表示是诺贝尔奖的获奖网格细胞:代表自我位置的神经元,局部和多个周期性的数量,看似奇异的非本地和空间周期性活性模式的几个离散时期。为什么Mam-Malian血统学会了这种特殊的网格表示?数学分析表明,这种多周期表示具有良好的特性,作为具有高容量和内在误差校正的代数代码,但迄今为止,在深度复发神经网络中的多模型网格细胞的合成仍然不存在。在这项工作中,我们首先要确定四个方法的关键见解,以回答网格单元格问题:动态系统,编码理论,功能的启发和监督深度学习。然后,我们利用我们的见解提出了一种新的方法,将所有四种方法的优势优雅结合在一起。我们的方法是从规范的角度进行的,无需访问监督职位信息而动机,包括数据,数据,损失功能和网络体系结构,包括数据,数据,损失功能和网络体系结构。没有对内部或读取表示的假设,我们表明,多个网格单元模块可以在我们的SSL框架上训练的网络中出现,并且网络超出其训练分布的范围很大。这项工作包含对对网格细胞起源感兴趣的神经科学家以及对新型SSL框架感兴趣的机器学习研究人员的见解。
神经科学中的许多问题都涉及对大量神经元反应的理解。然而,当处理大规模神经活动时,解释变得困难,并且在两种动物之间或不同时间点之间的比较变得具有挑战性。我们在现代神经科学中面临的一个主要挑战是对应性,例如,我们不会在完全相同的时间记录完全相同的神经元。如果没有某种方法将两个或多个数据集联系起来,那么比较不同的神经活动模式集合就变得不可能。在这里,我们描述了利用神经记录中共享的潜在结构来解决这一对应性挑战的方法。我们回顾了将两个数据集映射到可直接比较的共享空间的算法,并认为对齐是比较跨时间、神经元子集和个体的高维神经活动的关键。
为主动和被动的光学感官技术提供了互补的方式。此外,现有的雷达传感器具有很高的成本效益,并且在运行在户外操作的机器人和车辆中。我们介绍了雷达场 - 一种为活动雷达成像器设计的神经场景重建方法。我们的方法将具有隐式神经几何形状和反射模型的显式,物理知识的传感器模型团结起来,以直接合成原始雷达测量并提取场景占用率。所提出的方法不依赖卷渲染。相反,我们在傅立叶频率空间中学习字段,并通过原始雷达数据监督。我们验证了我们在各种室外场景中的有效性,包括带有密集车辆和基础设施的城市场景以及MM波长感应的恶劣天气情况。
摘要。任意的神经风格转移旨在通过引用提供的样式图像来造型内容。尽管为实现内容保存和样式转移性而进行了各种努力,但由于内容和样式功能的重复导致了不愉快的图像人工制品,因此对此任务的学习表现仍然具有挑战性。在本文中,我们学习了从信息理论的角度进行动机的风格的紧凑神经表示。在特殊的情况下,我们在可逆流网络的顺序模块上执行压缩表示,以减少特征冗余,而失去内容保存能力。我们使用Barlow Twins损失来减少信道依赖性,从而提供更好的内容,并优化参考图像和目标图像之间样式代表的Jensen-Shannon差异,以避免使用 - 和
可以从不同的刺激方式中访问我们大脑中存储的语义知识。例如,猫的图片和“猫”一词都具有相似的概念表示。现有研究发现了与模态无关表示的证据,但其内容仍然未知。独立于模式的表示可能是语义,或者它们也可能包含感知特征。我们开发了一种新颖的方法,该方法将单词/图片跨条件解码与神经网络分类器结合在一起,该方法从MEG数据(25名人类参与者,15名女性,10名男性)中学到了潜在的独立表示的表示。然后,我们将这些表示形式与代表语义,感觉和拼字法特征的模型进行了比较。结果表明,与模式无关的表示与语义和视觉表示相关。没有证据表明这些结果是由于图片特征的视觉特征或拼字特征自动激活了实验中提出的刺激。这些发现支持了与模态无关的概念包含感知和语义表示的观念。
图 1:CEED 框架。在 CEED 中,我们假设波形已经从细胞外记录中提取出来。然后,每个波形都会通过我们的随机视图生成模块,通过应用变换获得不同的视图。这些变换会产生一组预定义的不变性(参见第 3.2.1 节)。使用这些视图,然后训练基于神经网络的编码器(可以采用多层感知器 (MLP) 或变压器的形式)以产生尊重所需不变性的表示。这是通过对比学习实现的,其中鼓励来自相同波形的视图的表示相似,鼓励来自不同波形的视图不相似。训练完成后,学习到的表示可用于一系列下游神经科学任务,例如尖峰分类或形态电细胞类型分类。
解码人脑一直是神经科学家和人工智能研究人员的标志。重新构建来自脑电脑脑电图(EEG)信号的视觉图像,由于其在脑部计算机接口中的应用,引起了人们的极大兴趣。本研究提出了一种两阶段的方法,其中第一步是获得脑电图衍生的特征,以稳健地学习深度代表,然后将学习的表示形式用于图像产生和分类。我们使用具有监督和对比度学习方法的深度学习体系结构在三个不同的数据集中进行了特征提取管道的普遍性。我们已经执行了零摄影的脑电图分类任务,以进一步支持概括性索赔。我们观察到,与脑电图和图像之间的联合代表学习相比,在单峰设置中仅使用脑电图数据来学习一个单独使用脑电图数据的近距离线性分离的视觉表示。最后,我们提出了一个新颖的框架,将看不见的图像转换为脑电图空间,并以近似值重建它们,从而展示了来自EEG信号的图像重建潜力。我们提出的来自EEG的图像合成方法显示了62。9%和36。EEGCVPR40和ThoughtViz数据集的成立得分提高了13%,这比GAN 1中的最先进的表现效果。EEGCVPR40和ThoughtViz数据集的成立得分提高了13%,这比GAN 1中的最先进的表现效果。