之前对模仿大脑的人工智能系统(即神经网络)的研究表明,在神经网络活动中注入随机波动实际上可以提高它们在学习执行任务时的表现。然而,之前的研究是在相对简单的神经网络上进行的,这让人怀疑这种影响在现实生活中到底能发挥多大作用。
(2)都柏林三一学院心理学学院(3)都柏林三一学院三一学院神经科学研究所(4)加利福尼亚大学伯克利分校的心理学系伯克利分校的抽象焦虑与额叶执行功能的缺陷有着牢固的联系。然而,尽管焦虑在学习任务方面的表现受损也与焦虑有关,但焦虑症中强化学习(RL)障碍的计算研究却产生了不同的结果。WM过程会导致与RL过程并行的学习行为,并调节有效的学习率随负载的函数。但是,WM过程通常没有在焦虑和RL的研究中进行建模。在当前的研究中,我们利用了一个实验范式(RLWM),该范式使用多个刺激集尺寸来操纵WM和RL过程在增强学习和保留任务中的相对贡献。使用交互式RL和WM过程的计算模型,我们研究了通过RL或WM中的缺陷来影响生理或认知焦虑症的个体差异。升高的生理学,但没有认知,焦虑评分与所有设置大小的学习和保留测试过程中的表现差异很强。在计算上,较高的生理焦虑评分与降低的学习率和WM衰减率提高显着相关。为了强调对WM对学习的贡献的重要性,我们考虑了在没有WM模块的情况下拟合RL模型的效果。在这里,我们发现,在考虑的10个仅RL模型中的9个中的9个中,至少将较高生理焦虑的学习绩效降低至至少部分错误地归因于随机决策噪声。这些发现揭示了在焦虑中学习的双重过程障碍,这与比认知焦虑表型更生理有关。更广泛地说,这项工作还表明,在研究与心理病理学相关的学习缺陷时,会计WM对RL的贡献的重要性。引言我们从世界经验中学习的能力是成功决策和最终生存的关键要素。以及精神病理学的其他方面,焦虑与学习障碍有关,包括学习较慢和表现降低(1)。增强学习模型(RL;(2)已成功地用于研究跨动物和人类学习的认知机制。将这项工作扩展到临床领域,RL模型已用于研究心理病理学对学习的影响(3)。在这里,关于确切的精确
睡眠对健康的认知(包括记忆)至关重要。睡眠的两个主要阶段,即 REM 睡眠和非 REM 睡眠,与使用表面和颅内电极记录的特征性电生理模式有关。这些模式包括非 REM 睡眠期间的尖锐波纹、皮质慢振荡、δ 波和纺锤波,以及 REM 睡眠期间的 θ 振荡。它们反映了底层神经回路的精确定时活动。在这里,我们回顾了这些电信号如何指导我们对维持睡眠期间记忆巩固的回路和过程的理解,重点关注海马 θ 振荡和尖锐波纹以及它们如何与皮质模式协调。最后,我们强调了这些大脑模式如何也能维持依赖睡眠的稳态过程,并提出了研究睡眠记忆功能的几个潜在未来方向。
(未经同行评审认证)是作者/资助者。保留所有权利。未经许可不得重复使用。此预印本的版权所有者此版本于 2022 年 3 月 21 日发布。;https://doi.org/10.1101/2022.03.18.484953 doi:bioRxiv preprint
先前的工作提出,以最佳方式平衡对身体和大脑发育的能量消耗会导致发展过程中体细胞和神经认知生长之间的负相关关系。到目前为止,一个重要的问题在很大程度上被忽略了,这是这种充满活力的权衡受到早期生活环境因素的影响。在这项研究中,我们估计了神经认知(通过工作记忆能力)与体细胞(通过身体质量指数)发育轨迹之间的关联,同时考虑到早期生命逆境的多个维度。我们初始生长曲线模型的结果与男孩和男孩的大脑 - 身体折衷是一致的。在随后的模型中,我们表明早期生命逆境与神经认知生长轨迹的体细胞和负相关是积极的,尽管它们之间的直接负耦合保持一致。最后,将剥夺,威胁和不可预测性的影响分开的多阶段逆境模型表明,剥夺的维度(反映了缺乏获得资源和认知刺激)对躯体和神经认知的增长模式造成了最大的贡献。这些结果表明,在开发过程中,个人平衡这两种生物结构之间的能量的方式部分与通过表型可塑性的环境影响有关。
近年来,NLP模型的快速发展主要是通过Google和多伦多大学研究人员开发的变压器体系结构[2] B。变压器体系结构最初用于翻译语言,但是由于其出色的计算性能(通过并行处理所有输入),而不是先前使用的体系结构,因此在几种情况下已经探索了它。此外,由于它在独特的下游应用程序中取得了成功(文本摘要,自动完成,聊天对话生成等。),多年来NLP模型中的参数数量迅速增加,如图1所示。该图显示了自2017年以来模型大小的演变,从变压器模型开始于2017年6月Google宣布的6500万参数。使用虚线描绘了大于1万亿的型号。我们包含的最大模型可以实现以上的参数大小,因为它们使用稀疏激活的结构,在推断期间,只有LLM的一部分神经元的一部分被激活,而不是全部。但是,它们的广泛采用受到复杂性,沟通成本和培训不稳定性等因素的阻碍[15]。尽管存在这些障碍,但它们的建筑设计应被视为未来模型缩放的有力候选人。此外,诸如GPT-4和Gemini之类的模型以其多模式功能而闻名,这不仅可以处理文本,还可以处理诸如Image,Video和Audio之类的视觉和听觉输入。图1基于参考文献[1]中的信息。
在测试中,研究小组还发现,随着逻辑量子比特数量的增加(在他们的案例中从 72 个跃升至 105 个),该算法在纠正错误方面的表现越来越好。研究小组指出,这一发现表明,增加更多的量子比特将进一步提高纠正能力,从理论上讲,这一方案可以开发出一种错误很少、真正有用的量子计算机。
hal是一个多学科的开放访问档案,用于存款和传播科学研究文件,无论它们是否已发表。这些文件可能来自法国或国外的教学和研究机构,也可能来自公共或私人研究中心。
光子平台正逐渐成为满足日益增长的人工智能需求的一种有希望的选择,其中光子时间延迟储存器计算(TDRC)被广泛期待。虽然这种计算范式只能采用单个光子器件作为数据处理的非线性节点,但其性能高度依赖于延迟反馈回路(FL)提供的衰减记忆,这限制了物理实现的可扩展性,特别是对于高度集成的芯片。在这里,我们提出了一种简化的光子方案,利用设计的准卷积编码(QC)实现更灵活的参数配置,从而完全摆脱了对FL的依赖。与基于延迟的TDRC不同,基于QC的RC(QRC)中的编码数据支持时间特征提取,从而有助于增强记忆能力。因此,我们提出的QRC无需实现FL即可处理与时间相关的任务或序列数据。此外,我们可以使用低功率、易于集成的垂直腔面发射激光器来实现该硬件,以实现高性能并行处理。我们通过 QRC 和 TDRC 的模拟和实验比较来说明概念验证,其中结构更简单的 QRC 在各种基准测试任务中表现更佳。我们的结果可能为深度神经网络的硬件实现提供了一个有利的解决方案。
Téo Kronovsek、Eric Hermand、Alain Berthoz、Alexander Castilla、Matthieu Gallou-Guyot 等人。与年龄相关的视觉空间工作记忆衰退反映在背外侧前额叶激活和认知能力上。行为脑研究,2021 年,第 398 页,第 112981 页。�10.1016/j.bbr.2020.112981�。�hal-03187511�