XiaoMi-AI文件搜索系统
World File Search SystemBPTT
重播是通过大脑的时间进行反向传播的基础
在大脑中如何形成情节记忆是神经科学界的出色难题。对于情节学习至关重要的大脑区域（例如海马）的特征是经常连通性并产生频繁的OfflINE重播事件。重播事件的功能是主动争论的主题。循环连接性，计算模拟显示，当与合适的学习算法（例如通过时间反向传播）（BPTT）结合使用时，可以实现序列学习。bptt在生物学上并不合理。我们第一次在这里描述了在可逆的复发性神经网络R2N2中，BPTT的生物学上是一个合理的变体，它严重利用了o ine-ine-ine-Replay来支持情节学习。该模型使用向前和向后的o ffl ine重播，分别执行快速的一次性学习和统计学习的两个复发神经网络之间传递信息。不喜欢标准BPTT中的重播，此体系结构不需要人工外部存储器存储。此体系结构和方法的表现优于现有解决方案，并说明了海马重播事件的功能意义。我们使用计算机科学的基准测试来演示R2N2网络属性，并模拟啮齿动物延迟交替的T-Maze任务。
最初发表于：托马斯的Bohnstingl；苏里纳（Surina），安贾（Anja）； Fabre，Maxime； Demirag，Yigit；夏洛特的弗伦克尔； Payvand，Melika； Indiveri，Giacomo；裤子
摘要 - 急流尖峰神经网络（SNN）的灵感来自生物神经系统的工作原理，这些原理提供了独特的时间动态和基于事件的处理。最近，通过时间（BPTT）算法的错误反向传播已成功地训练了局部的SNN，其性能与复杂任务上的人工神经网络（ANN）相当。但是，BPTT对SNN的在线学习方案有严重的局限性，在该场景中，需要网络同时处理和从传入数据中学习。特别是，当BPTT分开推理和更新阶段时，它将需要存储所有神经元状态以及时计算重量更新。要解决这些基本问题，需要替代信贷分配计划。在这种情况下，SNN的神经形态硬件（NMHW）实现可以极大地利用内存计算（IMC）概念，这些概念（IMC）概念遵循记忆和处理的脑启发性搭配，进一步增强了他们的能量效率。在这项工作中，我们利用了与IMC兼容的生物学启发的本地和在线培训算法，该算法近似于BPTT，E-Prop，并提出了一种支持使用NMHW的经常性SNN推理和培训的方法。为此，我们将SNN权重嵌入了使用相位变更内存（PCM）设备的内存计算NMHW上，并将其集成到硬件中的训练设置中。索引术语 - 在线培训，尖峰神经网络，神经形态硬件，内存计算，相位变化内存我们使用基于PCM的仿真框架和由256x256 PCM Crossbar阵列的14NM CMOS技术制造的内存内计算核心组成的NMHW开发了模拟设备的精确度和瑕疵的方法。我们证明，即使对4位精确度也是强大的，并实现了32位实现的竞争性能，同时为SNN提供了在线培训功能，并利用了NMHW的加速收益。
用于规则和不规则时间序列分类的新型高效储层计算方法
时间序列是指在一段时间内按时间顺序收集的一系列数据点，每个点通常记录在特定的时间戳。时间序列有两个主要组成部分：时间戳和观测值。时间戳表示获取特定记录的时间，而观测值则显示与每个时间戳相关联的值，该值表明该值相对于其他时间点的相对重要性。此外，时间序列数据可能还带有一些其他模式，使时间序列分析更具挑战性。例如，来自同一数据集的样本可能具有不同的长度（可变长度）和/或相邻时间点可能具有不同的时间间隔（异质间隔）。时间序列分析涉及研究和解释样本随时间变化的趋势和依赖性等模式，并已广泛应用于现实世界现象 [1-3]。其中，时间序列分类 (TSC) 专注于将序列数据分类并标记为不同的类别，在医学、电信和金融等领域发挥着不可或缺的作用。TSC 算法的有效性取决于它们平衡短期和长期记忆以及捕捉时间依赖性的能力，同时将所需模式与噪声模式区分开来。在过去的几十年中，已经开发了大量算法来解决这一特定领域。到目前为止，长短期记忆 (LSTM) 网络可以看作是一个里程碑式的突破，它为序列数据中复杂的长期依赖关系建模所带来的挑战提供了强大的解决方案 [4-7]。LSTM 网络是一种循环神经网络 (RNN)，它利用记忆单元和门作为控制信息在网络中流动的手段。网络的设计主要是为了缓解梯度消失的瓶颈。然而，网络的训练是通过最先进的时间反向传播 (BPTT) 技术实现的。虽然 BPTT 是一种强大而有效的方法，但它的计算成本可能很高，尤其是对于大型和深度神经网络而言。除了反向传播辅助神经网络外，基于距离的方法也在广泛的 TSC 任务中取得了巨大的成功 [8-10]，其中，1-最近邻动态时间规整 (1NN-DTW) 已被证明
基准的尖峰神经网络学习方法具有不同的位置
摘要 - 提供更现实的神经元动力学的启用神经网络（SNN）已证明在几个机器学习任务中实现了与人工神经网络（ANN）相当的性能。信息在基于事件的机制中以显着降低能源消耗的基于事件的机制而作为SNN中的峰值进行处理。但是，由于尖峰机制的非差异性质，训练SNNS具有挑战性。传统方法，例如通过时间的反向传播（BPTT），已显示出有效性，但具有额外的综合和记忆成本，并且在生物学上是难以置信的。相比之下，最近的作品提出了具有不同程度的地方性的替代学习方法，在分类任务中表现出成功。在这项工作中，我们表明这些方法在培训过程中具有相似性，同时它们在生物学合理性和性能之间进行了权衡。此外，这项研究研究了SNN的隐式复发性质，并研究了向SNN添加显式复发的影响。我们在实验上证明，添加显式复发权重可以增强SNN的鲁棒性。我们还研究了基于梯度和非梯度的对抗性攻击下本地学习方法的性能。索引术语 - 启用神经网络，本地学习，培训方法，集中的内核对齐，Fisher信息。
2024 年经济回顾 2024 年 9 月 30 日
AML/CFT/CPF 反洗钱、打击资助恐怖主义和打击扩散融资 ASYCUDA 海关数据自动化系统 ATI 特立尼达和多巴哥全指数 Atlantic 特立尼达和多巴哥大西洋液化天然气公司 ATM 平均到期时间 AUM 资产管理规模 B2B 企业对企业 BD 巴巴多斯元 BEPS 税基侵蚀 利润转移 BERT 巴巴多斯经济改革与转型 BOLT 建设、拥有、租赁和转让 BPM6 国际收支和国际投资头寸手册，第六版 BPTT BP 特立尼达和多巴哥 BTU 英热单位 CA 主管当局 CAD 加元 CAF 安第纳开发银行 - 拉丁美洲开发银行 CAL 加勒比航空有限公司 CARIBCAN 英联邦加勒比和加拿大自由贸易协定 CARICOM 加勒比共同体 CariCRIS 加勒比信息和信用评级服务有限公司 CARIFORUM 加勒比论坛 CARTAC 加勒比地区技术援助中心 CBERA加勒比海盆地经济复苏法案 CBTPA 美国-加勒比海盆地贸易伙伴关系法案 CBTT 特立尼达和多巴哥中央银行 CCB 资本保护缓冲 CET 普通股本层级 CFATF 加勒比金融行动特别工作组 CGCL 加勒比天然气化学有限公司 CIF CLICO 投资基金 CIS 集合投资计划 CLI 交叉上市指数 CLICO 殖民人寿保险公司（特立尼达）有限公司 CNC 加勒比氮肥有限公司 CNY 人民币