已经假设抽象的不同大脑系统来处理8个竞争以产生行为的“专家”。在增强学习中,两个通用过程,一个无模型的9(MF)和一个基于模型的(MB),通常被建模为代理(MOA)的混合物(MOA)和10个假设,以捕获自动性与审议之间的差异。但是,静态MOA无法捕获11个策略的变化。为了研究这种动态,我们提出了12个代理的隐藏马尔可夫模型(MOA-hmm),同时从一组代理中学习了13个动作值,以及基本“隐藏”的时间动态,即随着时间的推移,代理贡献中14个捕获转移。将此模型应用于大鼠的多步,15个奖励指导的任务,揭示了会议内策略的进展:从最初的16 MB探索到MB剥削,并最终降低了参与度。被推论的状态17预测任务过程中响应时间和OFC神经编码的变化,这表明18个状态正在捕获动力学的实际转移。19
摘要。目的。经颅电刺激 (TES) 是一种调节大脑活动和治疗疾病的有效技术。然而,TES 主要用于刺激浅表大脑区域,无法达到更深的目标。如 [1] 中所述,注入电流在头部的扩散受到体积传导和电流通过具有不同电导率的头部层时额外扩散的影响。在本文中,我们介绍了 DeepFocus,这是一种旨在刺激大脑“奖励回路”中深层大脑结构的技术(例如眶额皮质、布罗德曼 25 区、杏仁核等)。方法:为了实现这一点,DeepFocus 除了在头皮上放置电极外,还利用经鼻电极放置(筛板下和蝶窦内),并优化这些电极上的电流注入模式。为了量化 DeepFocus 的好处,我们开发了 DeepROAST 模拟和优化平台。 DeepROAST 使用真实的头部模型模拟复杂颅底骨骼几何形状对 DeepFocus 配置产生的电场的影响。它还使用优化方法来搜索局部和有效的电流注入模式,我们在模拟和尸体研究中使用这些模式。主要结果。在模拟中,优化的 DeepFocus 模式在几个感兴趣的区域比仅限头皮的电极产生了更大、更聚焦的场。在尸体研究中,DeepFocus 模式在内侧眶额皮质 (OFC) 产生了大场,其幅度与刺激研究相当,并且结合已建立的皮质刺激阈值,表明场强度足以产生神经反应,例如在 OFC。意义。这种微创刺激技术可以更有效、更低风险地针对深部脑结构来治疗多种神经疾病。
已经假设抽象的不同大脑系统来处理8个竞争以产生行为的“专家”。在增强学习中,两个通用过程,一个无模型的9(MF)和一个基于模型的(MB),通常被建模为代理(MOA)的混合物(MOA)和10个假设,以捕获自动性与审议之间的差异。但是,静态MOA无法捕获11个策略的变化。为了研究这种动态,我们提出了12个代理的隐藏马尔可夫模型(MOA-hmm),同时从一组代理中学习了13个动作值,以及基本“隐藏”的时间动态,即随着时间的推移,代理贡献中14个捕获转移。将此模型应用于大鼠的多步,15个奖励指导的任务,揭示了会议内策略的进展:从最初的16 MB探索到MB剥削,并最终降低了参与度。被推论的状态17预测任务过程中响应时间和OFC神经编码的变化,这表明18个状态正在捕获动力学的实际转移。19
青春期通常与心理病理学的增加有关。以前的研究已经研究了家庭环境和神经奖励敏感性如何在青年的情绪发展中分别发挥作用,但在预测青年的内在症状方面,他们如何相互互动仍然未知。因此,当前的研究采用了一种生物心理社会的方法来检查这个问题,该问题使用青少年脑认知发展研究中的9353个前preadolagents(T1; 51%男孩的平均年龄= 9.93岁)的两波纵向数据进行了检查。使用混合效应模型,结果表明,较高的家庭冲突预测了1年后青年的内在症状增加,而奖励收到期间较大的腹纹状体(VS)活动预测随着时间的推移会减少内部化症状。重要的是,家庭冲突与活动之间有相互作用的效果。对于在奖励收据期间表现出更大的激活与激活的年轻人,高家庭冲突更有可能预测内在症状的增加。在奖励收据期间有低VS激活的青年表现出高水平的内在症状,而不论家庭冲突如何。调查结果表明,青年的神经奖励敏感性是对不利家庭环境的敏感性的标志,并强调了培养支持性家庭环境的重要性,在这些家庭环境中,青年在家庭中经历较少的冲突。
奖励动机通过中脑边缘系统、海马和皮质系统之间的相互作用(编码期间和编码后)来增强记忆。这些分布式神经回路的发展变化可能导致奖励动机记忆和潜在神经机制的年龄相关差异。跨物种研究的综合证据表明,青春期皮质下多巴胺信号增加,这可能导致奖励事件的记忆表征比平凡事件更强,以及潜在皮质下和皮质大脑机制的贡献随年龄变化而变化。在这里,我们使用 fMRI 来检查奖励动机如何影响支持两性人类参与者从童年到成年的长期联想记忆的“在线”编码和“离线”编码后大脑机制。我们发现,奖励动机导致 24 小时后联想记忆的年龄不变增强和非线性年龄相关差异。此外,奖励相关的记忆益处与年龄变化的神经机制有关。在编码过程中,随着年龄的增长,前额皮质 (PFC) 和腹侧被盖区 (VTA) 之间的相互作用与更好的高奖励记忆的关联性会更大。编码前到编码后,前海马和 VTA 之间的功能连接变化也与更好的高奖励记忆有关,但在年轻时更是如此。我们的研究结果表明,支持奖励动机记忆的离线皮层下和在线皮层大脑机制的贡献可能存在发育差异。
抽象生物学会学会获得奖励并避免通过行动 - 结果关联进行惩罚。强化学习(RL)提供了一个关键的框架,通过评估学习率,行动偏见,Pavlovian因素(即,在刺激值的影响下)以及对成果的主观影响(即寻求奖励和惩罚)的主观影响,来理解这种关联学习中的个体差异。然而,这些个人级别指标在大脑中的代表如何仍然不清楚。当前的研究利用fMRI在健康的人类中和概率学习进行/不执行任务来表征学习涉及寻求奖励和避免疼痛的神经相关性。在行为上,参与者在避免疼痛期间与寻求奖励相比显示出更高的学习率。此外,结果对奖励试验的主观影响更大,并且与较低的响应随机性有关。我们的成像发现表明,在回避学习过程中学习率和表现精度的个体差异与背扣带扣带回皮质,中型皮层和中心后回的活性呈正相关。相比之下,在避免疼痛和寻求疼痛期间,帕夫洛维亚因子分别在上述回中心和上额回(SFG)中表示。通过激活左侧扣带回皮层的激活来积极预测结果的主观影响。最后,动作偏见由补充运动区域(SMA)和SMA代表,而SFG在限制这种行动趋势方面发挥了作用。,这些发现首次突出了RL期间计算过程中个体差异的神经底物。
研究文章:方法/新工具| Integrative Systems The neural correlates of individual differences in reinforcement learning during pain avoidance and reward seeking https://doi.org/10.1523/ENEURO.0437-23.2024 Received: 23 October 2023 Revised: 31 January 2024 Accepted: 5 February 2024 Copyright © 2024 Le et al.这是根据Creative Commons Attribution 4.0国际许可条款分发的开放访问文章,只要将原始工作正确归因于任何媒介,它允许在任何媒介中进行无限制的使用,分发和复制。
全文标题:芬太尼外围暴露于奖励和感官大脑区域的转录组合分析jimmy olusakin 1,2,Gautam Kumar 1,2,Mahashweta Basu 3,Cali A. Calarco A. Calarco A. Calarco 1,2,Megan E. Fox 4,Jason B. Alipio Alipio Alipio 1,2,Cathe kela kel kel kell kela kathe turna D.2.2. 1,2,5,Seth A. Ament 2,3,5,Mary Kay Lobo 1,2,5 1解剖学和神经生物学系,马里兰大学医学院,马里兰州巴尔的摩大学医学院。2在马里兰州巴尔的摩的马里兰州医学院神经科学的计划。 3马里兰州马里兰州医学院的基因组科学研究所,马里兰州巴尔的摩。 4宾夕法尼亚州宾夕法尼亚州医学院麻醉学系。 5马里兰州马里兰州医学院精神病学系,马里兰州巴尔的摩。 通讯作者:马里兰大学医学院神经生物学教授玛丽·凯·洛博(Mary Kay Lobo)博士。 mklobo@som.umaryland.edu短标题:围产期芬太尼小鼠的脑转录组。 关键字:芬太尼,围产期,成绩单,性别差异,奖励,感觉。2在马里兰州巴尔的摩的马里兰州医学院神经科学的计划。3马里兰州马里兰州医学院的基因组科学研究所,马里兰州巴尔的摩。 4宾夕法尼亚州宾夕法尼亚州医学院麻醉学系。 5马里兰州马里兰州医学院精神病学系,马里兰州巴尔的摩。 通讯作者:马里兰大学医学院神经生物学教授玛丽·凯·洛博(Mary Kay Lobo)博士。 mklobo@som.umaryland.edu短标题:围产期芬太尼小鼠的脑转录组。 关键字:芬太尼,围产期,成绩单,性别差异,奖励,感觉。3马里兰州马里兰州医学院的基因组科学研究所,马里兰州巴尔的摩。4宾夕法尼亚州宾夕法尼亚州医学院麻醉学系。5马里兰州马里兰州医学院精神病学系,马里兰州巴尔的摩。 通讯作者:马里兰大学医学院神经生物学教授玛丽·凯·洛博(Mary Kay Lobo)博士。 mklobo@som.umaryland.edu短标题:围产期芬太尼小鼠的脑转录组。 关键字:芬太尼,围产期,成绩单,性别差异,奖励,感觉。5马里兰州马里兰州医学院精神病学系,马里兰州巴尔的摩。通讯作者:马里兰大学医学院神经生物学教授玛丽·凯·洛博(Mary Kay Lobo)博士。mklobo@som.umaryland.edu短标题:围产期芬太尼小鼠的脑转录组。关键字:芬太尼,围产期,成绩单,性别差异,奖励,感觉。
AAV2 -RETRO -CAG -FLEX -TDOMATO -WPRE病毒,可允许逆行进入投影神经元,从而为NAC提供传入的输入。b示例局部感染的CRH +轴突末端的共聚焦显微照片在内侧NAC壳中。c逆行跟踪将内侧BLA识别为CRH + NAC输入的强大来源。d 3D图像(z-stack;0.5μm步长)确认在AAV-RETRO感染细胞(红色)的BLA中定位,共表达内源性CRH(绿色);双重标记的神经元=黄色。e - 从BLA到内侧NAC壳的CRH +轴突投影的g顺行追踪。e,AAV1-DIO-TDTOMATO构建体和病毒遗传实验设计。f病毒注射仅限于中央杏仁核(CEA)的BLA,G,通过在BLA CRH +神经元中的TDTomato选择性表达显示。h bla-origin CRH +轴突和内侧NAC壳中的端子。i - K病毒注射到BLA中的内侧NAC壳逆转录感染的SOMATA。i将荧光原位杂交(FISH)与BLA中CRH +细胞中的GAD67 mRNA进行免疫染色。箭头指向共定位的GAD67 mRNA和病毒 - 重复蛋白标记。j a bla→NAC细胞(红色)共表达内源性CRH(绿色)和VGAT(Magenta),但K不会共表达谷氨酸能标记Camkii。** = Calleja的主要岛,AC前委员会,DB对角线带。i和k中的比例尺= 10 µm。在至少两个独立的垃圾中评估了在小鼠中评估发现发现,病毒注射,投射评估和免疫组织化学的。信用:自然通讯(2023)。doi:10.1038/s41467-023-36780-x
1美国纽黑文耶鲁大学精神病学系; 2美国纽黑文市耶鲁大学跨部门神经科学计划; 3美国纽约市纽约市城市大学; 4在美国纽约的Stony Brook University的神经科学计划; 5美国贝塞斯达国家神经系统疾病与中风研究所(NINDS); 6美国贝塞斯达国家心理健康研究所(NIMH); 7中国北京的中国大脑研究所(CIBR); 8中国北京北京大学生命科学学院膜生物学国家主要实验室; 9 PKU-IDG/MCGOVERN脑研究所,中国北京; 10北京北京北京大学高级跨学科研究学院生命科学中心Peking-Tsinghua中心; 11美国纽黑文耶鲁大学医学学院比较医学1美国纽黑文耶鲁大学精神病学系; 2美国纽黑文市耶鲁大学跨部门神经科学计划; 3美国纽约市纽约市城市大学; 4在美国纽约的Stony Brook University的神经科学计划; 5美国贝塞斯达国家神经系统疾病与中风研究所(NINDS); 6美国贝塞斯达国家心理健康研究所(NIMH); 7中国北京的中国大脑研究所(CIBR); 8中国北京北京大学生命科学学院膜生物学国家主要实验室; 9 PKU-IDG/MCGOVERN脑研究所,中国北京; 10北京北京北京大学高级跨学科研究学院生命科学中心Peking-Tsinghua中心; 11美国纽黑文耶鲁大学医学学院比较医学