组合性是生物和人工神经网络的基本结构特征。通过梯度下降学习组合函数会产生众所周知的问题,例如梯度消失和梯度爆炸,因此仔细调整学习率对于实际应用至关重要。本文证明乘法权重更新满足针对组合函数定制的下降引理。基于此引理,我们推导出 Madam(Adam 优化器的乘法版本),并表明它可以在不调整学习率的情况下训练最先进的神经网络架构。我们进一步表明,通过在对数系统中表示权重,Madam 很容易适应训练原生压缩神经网络。最后,我们总结了乘法权重更新与生物学中关于突触的最新发现之间的联系。
1942 年至 1944 年间,美国陆军使用前卡迪斯湖音速轰炸目标 #3 作为加利福尼亚亚利桑那机动区的一部分,对部队进行沙漠环境适应训练,并测试在恶劣条件下使用的设备。1946 年至 1948 年间,这片土地还被驻扎在三月机场的第四航空队用作轰炸练习目标。通过历史数据调查和现场考察,前加的斯湖音速轰炸目标#3的某个区域已被确定为可能存在潜在爆炸危险的区域。已知或怀疑用于目标的弹药包括大口径弹药、带有炸药的练习炸弹、练习地雷和小型武器弹药。
储存器计算 (RC) [1, 2] 是一种循环神经网络,近年来因其训练成本低、可通过专用电路 [3, 4] 和物理 RC [5, 6] 在硬件上实现而备受关注。RC 由储存器部分和读出部分组成,储存器部分接收时间序列输入并将其非线性转换为高维空间以表示输入的时空模式,读出部分从储存器部分拾取一些模式来分析输入并生成输出。RC 的主要优势是除读出部分之外的权重连接都是固定的。因此,与深度神经网络相比,其训练所需的数据量更少,计算成本更低。因此,RC 适用于计算资源有限且无需云计算即可执行训练的边缘 AI 系统。 RC 的读出大多由线性模型(单层感知器)实现,因此,读出的适应训练数据的能力有限。为了增强 RC 的训练能力,我们提出了一个具有多个读出的 RC 模型,该模型将一个读出的训练分散,以便每个读出可以专注于特定类型的训练数据。该方法可以看作是一种集成学习,用于增强 RC 泛化性能。简单地增加读出的数量对于边缘 AI 系统来说是低效的,因为它会消耗系统中有限的内存资源。本研究引入了一种自组织函数,它能够使用
一、问题和动机物联网 (IoT) 促进了许多利用基于边缘的机器学习 (ML) 方法来分析本地收集的数据的应用。不幸的是,流行的 ML 算法通常需要超出当今物联网设备能力的密集计算。受大脑启发的超维计算 (HDC) 已被引入以解决这个问题。然而,现有的 HDC 使用静态编码器,需要极高的维数和数百次训练迭代才能达到合理的准确度。这导致了巨大的效率损失,严重阻碍了 HDC 在物联网系统中的应用。我们观察到一个主要原因是现有 HDC 的编码模块缺乏利用和适应训练期间学习到的信息的能力。相比之下,如图 1(a) 所示,人类大脑中的神经元一直在动态再生,并在学习新信息时提供更有用的功能 [1]。虽然 HDC 的目标是利用随机生成的基础超向量的高维性来将信息表示为神经活动的模式,但现有的 HDC 仍然很难支持与大脑神经再生类似的行为。在这项工作中,我们提出了动态 HDC 学习框架,可以识别和再生不需要的维度,以在显著降低维数的情况下提供足够的准确性,从而加速训练和推理。 II. 背景和相关工作 A. 物联网和基于边缘的学习 许多新颖的框架和库已经开发出来,以在资源受限的计算平台上定制流行的 ML 算法,包括 TinyML [2]、TensorFlow Lite [3]、edge-ml [4]、X-Cube-AI [5] 等。然而,这些学习方法通常需要大量的训练样本和多个训练周期,超出了当今物联网设备的能力。同时,利用目标平台的学习结构和特性,研究人员提出了许多提高基于边缘的学习效率的技术,例如分割计算 [6]、联邦学习 [7]、[8]、知识蒸馏 [9]。这些技术与我们的方法正交,可以与我们的方法集成,以进一步提高学习性能。
美国海军设施工程司令部授予马里兰州安纳波利斯全封闭射击场设计合同。– 海军设施工程系统司令部 (NAVFAC) 华盛顿授予雷蒙德·庞德全封闭服务解决方案公司一份价值 30 万美元的合同,该公司位于佐治亚州康耶尔斯,负责在格林伯里角附近的海军支援活动 (NSA) 安纳波利斯设计一个全封闭 50 码射击场。该合同提供专业工程服务,以设计一个修复项目,以完全封闭 NSA 安纳波利斯现有的射击场。“挡板”是放置在射击场上方、旁边或地面的障碍物,用于阻挡偏离目标的子弹。这些障碍物将偏离目标的子弹限制在射击场内,并确保射击线下游人员和财产的安全。目前,NSA Annapolis 的射击场仅部分安装了挡板。由于障碍物不完整,流弹离开射击场的风险需要在 Greenbury Point 的部分地区(包括东部和西部通道以及 Mill Creek)设置地面危险区 (SDZ)。当射击场正在使用时,地面危险区必须对公众关闭以确保安全。Greenbury Point 是海军财产,由 NSA Annapolis 管理,作为任务支持自然资源区。它也是自然爱好者和户外休闲的热门目的地。虽然海军尽可能让格林伯里角的部分地区向公众开放,但半岛的一些地区需要经常关闭,以适应训练和任务要求。“尽管我们仅处于设计阶段,但我们期待减轻在格林伯里角维护地面危险区的需要,”NSA 安纳波利斯公共工程官员 Billy Moiles 指挥官说道。“设计是了解未来修复相关成本的第一步。”NSA 安纳波利斯的完全封闭式射击场将减轻因训练而关闭格林伯里角东、西通道的需要。