机构名称：
¥ 2.0
摘要 皮质-基底神经节-丘脑 (CBGT) 通路如何使用多巴胺能反馈信号来修改未来决策的问题几十年来一直困扰着计算神经学家。通过回顾多巴胺能皮质纹状体可塑性的计算表示的文献，我们展示了该领域如何融合到一种规范的突触级学习算法，该算法可以优雅地捕捉 CBGT 回路的神经生理特性和强化学习期间的行为动态。不幸的是，导致这种规范算法模型的计算研究都依赖于使用抽象动作选择规则的简化电路。结果，将这种皮质纹状体可塑性算法应用于 CBGT 通路的完整模型会立即失败，因为整合（皮质纹状体回路）、动作选择（丘脑皮质环路）和学习（黑质纹状体回路）之间的时空距离意味着网络不知道应该强化哪些突触以支持之前的奖励动作。我们展示了神经生理学观察结果，特别是选定动作表征的持续激活，如何提供一种简单的方法来解决 CBGT 学习模型中的这种信用分配问题。使用完整 CBGT 回路的生物学现实脉冲模型，我们展示了该解决方案如何让网络学习选择最佳目标并在环境发生变化时重新学习动作-结果偶然性。这个简单的例子强调了如何扩展皮质纹状体可塑性的规范框架以捕捉学习和决策过程中的宏观网络动态。
皮层基底神经节中的信用分配问题......
主要关键词
相关文件推荐
