XiaoMi-AI文件搜索系统
World File Search System预测编码
通过预测编码逆转差异
深度学习已重新定义了人工神经网络的兴起，这是受到大脑神经元网络的启发。多年来，AI和神经科学之间的这些相互作用为这两个领域带来了巨大的好处，从而使神经网络可以在大量应用中使用。神经网络使用反向分化的有效实现，称为反向传播（BP）。然而，这种算法通常因其生物学上的不可使用性而受到批评（例如，缺乏众议员的本地更新规则）。因此，越来越多地研究了依靠预测性编码（PC）的生物学上合理的学习方法，即描述大脑中信息处理的框架。最近的著作证明，这些方法可以将BP近似于多层感知器（MLP）的一定余量，并在任何其他复杂模型上均非渐近，并且PC的变量零差异推理学习（Z-IL）能够准确地在MLP上实现BP。然而，最近的文字还表明，尚无生物学上合理的方法，可以准确地复制BP在Complex模型上的重量更新。为了填补这一空白，在本文中，我们通过在计算图上直接定义它来概括（PC和）Z-IL，并表明它可以执行精确的反向分化。什么结果是第一个PC（并且在生物学上是合理的）算法，它等同于BP在任何神经网络上更新参数，从而在神经科学和深度学习的构图研究之间提供了桥梁。此外，以上结果尤其是立即提供了BP的新型局部和平行实现。
sprevak-预测编码1- intoduction.pdf
预测编码是认知的计算模型。与其他计算模型一样，它试图用我们的大脑进行的组合来解释人类的思想和行为。至少在至少三个方面与更传统的方法不同。首先，它渴望全面：它旨在解释人类认知的一个领域，而是所有这些领域 - 感知，运动控制，决策，计划，推理，关注等。其次，它的目的是统一：它不是用许多不同的计算来解释认知，而是通过吸引单个计算的认知来解释认知 - 一种计算任务和一种计算算法据称是认知的基础。tird，它的目的是完成：它不仅是有关计算故事的一部分，而且是一个从神经调节器的释放的细节到合理行动的抽象原理的模型，该模型是所有代理的抽象原理。
预测编码：理论与实验回顾
预测编码为皮质功能提供了一种潜在的统一解释——假设大脑的核心功能是最小化对世界生成模型的预测误差。该理论与贝叶斯大脑框架密切相关，在过去二十年中，在理论和认知神经科学领域产生了重大影响。大量研究基于对改进和扩展的预测编码理论和数学模型的实证测试，以及评估它们在大脑中实施的潜在生物学可行性以及该理论做出的具体神经生理和心理预测。然而，尽管这种理论经久不衰，但还没有对预测编码理论，尤其是该领域的最新发展进行全面的回顾。在这里，我们对预测编码的核心数学结构和逻辑进行了全面的回顾，从而补充了文献中的最新教程（Bogacz，2017；Buckley，Kim，McGregor 和 Seth，2017）。我们还回顾了该框架内的大量经典和最新研究，从可以实现预测编码的神经生物学现实微电路，到预测编码与广泛使用的误差反向传播算法之间的密切关系，以及调查预测编码与现代机器学习技术之间的密切关系。
混合预测编码：推断，快速和慢
预测性编码是皮质神经活动的影响模型。它提出，通过依次最大程度地减少“预测误差”（预测数据和观察到的数据之间的差异）来提供感知信念。该提案中隐含的是成功感知需要多个神经活动的循环。这与证据表明，视觉感知的几个方面（包括对象识别的复杂形式）来自于在快速时间标准上出现的初始“ feedforward扫描”，该快速时间表排除了实质性的重复活动。在这里，我们建议可以将馈电扫描理解为摊销推断（应用直接从数据映射到信念的学习函数），并且可以将经常处理的处理理解为执行迭代推理（依次更新神经活动以提高信念的准确性））。我们建立了一个混合预测编码网络，该网络以原则性的方式结合了迭代和摊销的推论，通过描述单个目标函数的双重优化。我们表明，可以在生物学上合理的神经体系结构中实现了结果方案，该神经体系结构近似使用本地HEBBIAN更新规则，近似于贝叶斯的推理。我们证明，混合预测性编码模型结合了摊销和迭代推断的好处 - 对熟悉数据的快速和计算廉价的感知推断，同时保持上下文敏感性，精度和迭代推理方案的样品效率。此外，我们展示了我们的模型如何固有地敏感其不确定性和适应性地平衡迭代和摊销的推论，以使用最低计算费用获得准确的信念。混合预测编码为视觉感知期间观察到的前馈活动和经常性活动的功能相关性提供了新的观点，并提供了对视觉现象学不同方面的新见解。
预测编码：超越反向传播的深度学习的未来？
用于训练深度神经网络的误差反向传播算法是深度学习成功的基础。然而，它需要连续的后向更新和非局部计算，这使得大规模并行化具有挑战性，而且与大脑的学习方式不同。然而，受神经科学启发的学习算法，如利用局部学习的预测编码，有可能克服这些限制，并在未来超越深度学习技术。虽然预测编码起源于理论神经科学，作为皮层信息处理的模型，但最近的研究已将这一想法发展成一种通用算法，能够仅使用局部计算来训练深度神经网络。在这篇综述中，我们回顾了对这个观点做出贡献的作品，并展示了预测编码和反向传播在泛化质量方面的密切联系，以及强调使用预测编码相对于反向传播训练的神经网络的多重优势的作品。具体来说，我们展示了预测编码网络的更大灵活性，与标准深度神经网络不同，它可以同时充当分类器、生成器和联想记忆，并且可以在任意图形拓扑上定义。最后，我们回顾了预测编码网络在机器学习分类任务上的直接基准，以及它与控制理论和机器人应用的密切联系。
变分预测编码下的目标导向行为
摘要 — 心理模拟是目标导向行为的关键认知功能，因为它对于评估行为及其后果至关重要。当给定一个自我生成或外部指定的目标时，通过心理模拟从其他候选中选择最有可能实现该目标的一系列动作。因此，更好的心理模拟会带来更好的目标导向行动计划。然而，开发心理模拟模型具有挑战性，因为它需要了解自我和环境。本文研究了如何通过动态组织自上而下的视觉注意力和视觉工作记忆来在心理上生成机器人的充分目标导向行动计划。为此，我们提出了一种基于变分贝叶斯预测编码的神经网络模型，其中目标导向行动计划由潜在意向空间的贝叶斯推理制定。我们的实验结果表明，出现了具有认知意义的能力，例如对机器人末端执行器（手）的自上而下的自主注意以及无遮挡视觉工作记忆的动态组织。此外，我们对比较实验的分析表明，引入视觉工作记忆和使用变分贝叶斯预测编码的推理机制显著提高了规划充分的目标导向行动的表现。
预测编码和随机共振是听觉幻觉感知的基本原理
只有通过实验来测试形式或计算模型，才能获得机械洞察力。此外，与病变研究类似，幻觉感知可以作为理解健康听觉感知的基本处理原理的载体。我们特别关注耳鸣——作为听觉幻觉感知的主要例子——回顾了人工智能、心理学和神经科学交叉领域的最新研究。特别是，我们讨论了为什么每个耳鸣患者都会遭受（至少是隐藏的）听力损失，但并不是每个听力损失患者都会遭受耳鸣。我们认为，内在神经噪声是沿着听觉通路产生和放大的，是一种基于自适应随机共振恢复正常听力的补偿机制。神经噪声的增加可能会被误认为是听觉输入并被感知为耳鸣。这种机制可以在贝叶斯大脑框架中形式化，其中感知（后验）吸收了先前的预测（大脑的期望）和可能性（自下而上的神经信号）。可能性的较高均值和较低方差（即增强的精度）会改变后验概率，表明对感官证据的误解，而大脑中支持先前预测的可塑性变化可能会进一步混淆这种误解。因此，两个基本处理原理为听觉幻觉的出现提供了最有力的解释力：预测编码是一种自上而下的机制，而自适应随机共振是一种互补的自下而上的机制。我们得出结论，这两个原理在健康的听觉感知中也发挥着至关重要的作用。最后，在神经科学启发的人工智能背景下，这两个处理原理都可能有助于改进当代的机器学习技术。
使用蒙特卡洛预测编码学习感官输入的概率分布
有人提出，大脑使用概率生成模型来最佳地解释感官信息。这一假设已在不同框架中形式化，重点是解释不同的现象。一方面，经典预测编码理论提出了如何通过采用局部突触可塑性的神经元网络来学习概率模型。另一方面，神经采样理论已经证明了随机动力学如何使神经回路能够表示环境潜在状态的后验分布。这些框架通过变分过滤结合在一起，将神经采样引入预测编码。在这里，我们考虑一种用于静态输入的变分过滤变体，我们将其称为蒙特卡罗预测编码 (MCPC)。我们证明，预测编码与神经采样的结合会产生一个使用局部计算和可塑性学习精确生成模型的神经网络。MCPC 的神经动力学在存在感官输入的情况下推断潜在状态的后验分布，并可以在没有感官输入的情况下生成可能的输入。此外，MCPC 还捕捉了感知任务期间神经活动变化的实验观察结果。通过结合预测编码和神经采样，MCPC 可以解释之前由这些单独框架解释的两组神经数据。
语言经验塑造了节奏声音序列的预测编码
摘要 感知系统严重依赖先验知识和预测来理解环境。预测可以来自多种信息源，包括基于孤立时间情况的上下文短期先验，以及由于长期接触统计规律而产生的上下文无关的长期先验。虽然短期预测对听觉感知的影响已得到充分证实，但长期预测如何影响早期听觉处理尚不清楚。为了解决这个问题，我们记录了两种不同语序（西班牙语：函子首字母 vs 巴斯克语：函子尾字母）的母语使用者的脑磁图数据，让他们聆听简单的二进制声音序列，这些声音持续时间交替，偶尔会省略。我们假设，听觉系统结合上下文转换概率，使用与母语语序相关的特征韵律线索（持续时间）作为内部模型，对传入的非语言声音进行长期预测。与我们的假设一致，我们发现由声音省略引起的不匹配负波的幅度随说话者的语言背景而变化，并且在左听觉皮层最为明显。重要的是，聆听音调而不是持续时间交替的二元声音不会产生群体差异，证实上述结果是由假设的长期“持续时间”先验驱动的。这些发现表明，对特定语言的体验可以塑造人类感知的一个基本方面——有节奏的声音的神经处理——并为听觉皮层中的长期预测编码系统提供了直接证据，该系统使用一生中学习到的听觉方案来处理传入的声音序列。
用于预测编码和主动推断的大脑体系结构的演变
摘要本文考虑了用于预测处理的大脑体系结构的演变。我们认为，预测感知和作用的大脑机制并不是像我们这样的先进生物的晚期进化加成。相反，它们逐渐源自更简单的预测循环（例如自主和运动反射），这些循环是我们早期进化祖先的遗产，并且是解决其适应性调节基本问题的关键。，我们以生成模型的形式表征了更简单的复合大脑，这些模型包括增加层次宽度和深度的预测循环。这些可能从简单的稳态基序开始，并在进化过程中以四种主要方式进行详细说明：这些包括将预测性控制的多模式扩展到同类循环中；它复制以形成多个感官循环，以扩大动物的行为曲目；以及具有层次深度的生成模型的逐渐捐赠（处理以不同的空间尺度展开的世界各个方面）和时间深度（以未来面向的方式选择计划）。反过来，这些阐述为越来越复杂的动物所面临的生物调节问题提供了解决方案。我们的建议将神经科学理论（预测性处理）与不同动物物种中脑体系结构的进化和比较数据保持一致。关键字：预测处理；主动推断；大脑进化；脑建筑；模型选择；自然选择。