XiaoMi-AI文件搜索系统
World File Search System持续学习
![[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习](/simg/4\4c1c4fb6909873de81a732fa517961b80c3e6721.webp)
[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习
持续学习（CL）构成了深层神经网络（DNN）的重大挑战，这是由于灾难性的忘记在引入新的任务时对先前获得的任务的灾难性忘记。人类在学习和适应新任务的情况下擅长而无需忘记，这是通过大脑中的融合学习系统归因于抽象体验的彩排的能力。这项研究旨在复制和验证Birt的发现，Birt的发现是一种新型方法，利用视觉变压器来增强表示练习的代表性，以进行持续学习。birt在视觉变压器的各个阶段引入了建设性噪声，并与工作模型的指数移动平均值（以减轻过度拟合并增强鲁棒性）相加。通过复制Birt的方法，我们试图验证其声称的改善，比传统的原始图像排练和香草代表对几个具有挑战性的CLENCHM分析进行排练。此外，这项研究还研究了Birt对自然和对抗性腐败的记忆效率和稳健性，旨在增强其实际适用性。复制将提供对原始论文中介绍的思想的可这种可总合性和普遍性的关键见解。
NISPA：受神经启发的稳定性-可塑性适应，用于稀疏网络中的持续学习
持续学习 (CL) 的目标是随着时间的推移学习不同的任务。与 CL 相关的主要需求是保持旧任务的表现，利用后者来改进未来任务的学习，并在训练过程中引入最小的开销（例如，不需要增长模型或重新训练）。我们提出了神经启发稳定性-可塑性适应 (NISPA) 架构，通过固定密度的稀疏神经网络解决这些需求。NISPA 形成稳定的路径来保存从旧任务中学到的知识。此外，NISPA 使用连接重新布线来创建新的可塑性路径，以便在新任务上重用现有知识。我们对 EMNIST、FashionM-NIST、CIFAR10 和 CIFAR100 数据集的广泛评估表明，NISPA 的表现明显优于具有代表性的最先进的持续学习基线，并且与基线相比，它使用的可学习参数减少了十倍。我们还认为稀疏性是持续学习的必要因素。NISPA 代码可在 https://github.com/BurakGurbuz97/NISPA 上找到
特征聚合具有潜在的生成重播，用于联邦的持续学习社会适当的机器人行为
摘要 - 机器人要探索联合学习（FL）设置至关重要，在这些设置中，几个并行部署的机器人可以独立学习，同时还可以彼此分享他们的学习。现实世界中的这种协作学习要求社交机器人动态适应不可预测和不可预测的情况和不同的任务设置。我们的工作通过探索一个模拟的客厅环境来帮助解决这些挑战，在该环境中，机器人需要学习其行为的社会适当性。首先，我们提出了联合根（FedRoot）平均，这是一种新型的体重聚集策略，它使客户从基于任务的学习中进行学习。第二，为了适应具有挑战性的环境，我们将Fedroot扩展到联合潜伏的生成重播（FedLgr），这是一种新颖的联盟持续学习（FCL）策略，该策略使用基于FedRoot的重量聚集，并将每个客户嵌入了每个客户的生成器模型，以促进伪造的功能嵌入，以使知识的特征嵌入者忽略了一种资源良好的效果。我们的结果表明，基于FedRoot的方法提供竞争性能，同时也导致资源消耗量大幅度降低（CPU使用率高达86％，GPU使用率高达72％）。此外，我们的结果表明，基于FedRoot的FCL方法的表现优于其他方法，同时还提供了有效的解决方案（最多84％的CPU和92％的GPU使用率），FedLGR在评估中提供了最佳结果。
cel：通过通过弹性重量巩固来利用域的适应域来进行疾病爆发预测的持续学习模型
1深圳先进技术研究所，中国科学院，深圳518055，中国2深圳先进技术学院，中国科学院科学院，北京大学100049，中国3号，3月3日中国 *通讯作者：Hongyan Wu（hy.wu@siat.ac.cn）摘要：持续学习，模型随着时间的流逝而不必忘记以前的知识，因此对新数据的适应性，在疾病爆发预测等动态领域中至关重要。深神经网络，即LSTM，由于灾难性遗忘而容易出错。这项研究引入了一种新型的CEL模型，用于通过通过弹性重量巩固（EWC）利用域的适应性来进行持续学习。该模型旨在减轻域增量设置中的灾难性遗忘现象。使用EWC构建Fisher Information Matrix（FIM），以开发正规化术语，该术语对重要参数的变化进行了惩罚，即重要的先前知识。CEL的表现通过不同的指标评估了三种不同的疾病，流感，MPOX和麻疹。在评估和重新评估期间，高R平方值在几种情况下优于其他最新模型，表明CEL可以很好地适应增量数据。cel的鲁棒性和可靠性受到其最小的65％遗忘率和更高的记忆稳定性的强调。它提供了一个有价值的模型，可以通过准确，及时的预测进行主动疾病控制。这项研究强调了CEL在疾病爆发预测中的多功能性，以时间模式解决了不断发展的数据。
脉冲网络中使用忆阻器进行持续学习的概率元可塑性
在动态环境中运行的边缘设备迫切需要能够持续学习而不会发生灾难性遗忘。这些设备中严格的资源限制对实现这一目标构成了重大挑战，因为持续学习需要内存和计算开销。使用忆阻器设备的交叉开关架构通过内存计算提供能源效率，并有望解决此问题。然而，忆阻器在电导调制中通常表现出低精度和高可变性，这使得它们不适合需要精确调制权重大小以进行整合的持续学习解决方案。当前的方法无法直接解决这一挑战，并且依赖于辅助高精度内存，导致频繁的内存访问、高内存开销和能量耗散。在这项研究中，我们提出了概率元可塑性，它通过调节权重的更新概率而不是大小来整合权重。所提出的机制消除了对权重大小的高精度修改，从而消除了对辅助高精度内存的需求。我们通过将概率元可塑性集成到以低精度忆阻器权重在错误阈值上训练的脉冲网络中，证明了所提机制的有效性。持续学习基准的评估表明，与基于辅助内存的解决方案相比，概率元可塑性实现了与具有高精度权重的最先进的持续学习模型相当的性能，同时用于附加参数的内存消耗减少了约 67%，参数更新期间的能量消耗减少了约 60 倍。所提出的模型显示出使用低精度新兴设备进行节能持续学习的潜力。
人工智能对学生可持续发展的影响......
教育的目标是全面发展学生。确保向学生提供优质的教育有助于高等教育机构（HEIs）实现可持续的学习成果。当今的教育时代主要关注人工智能（AI）和基于成果的教育。这项研究的目的是了解学生对人工智能的态度及其对可持续学习成果和职业发展的影响。本研究开发的概念模型基于技术-组织-环境框架（TOE）。通过分析定量数据对该模型进行了评估。我们使用问卷调查的方法从来自不同高等教育课程的学生（n=239）那里获得了第一手原始数据，该问卷调查是通过与人工智能和可持续学习成果领域的专家互动开发的。这项研究考虑的三个主要因素是社会因素、技术因素和组织因素。研究观察到这三个因素都在影响学生的态度，而人工智能（AI）对可持续学习成果和职业发展有积极的影响。
OCC FY2023-2027 战略计划
OCC 培育了一种适应性、信任和求知欲强的文化，这使我们能够在充满不确定性和变化的时期完成我们的使命。我们多元化的员工队伍致力于将各种观点和经验应用于问题和决策。我们重视适应性强、开放的心态。我们优先考虑持续学习和协作。信息在机构内畅通无阻，通过共享和协作促进影响力，并最大限度地减少孤岛现象。各级的良好沟通和反馈促进了全面的意识和持续学习。敏捷使我们能够更有效地应对意料之外的挑战，更有效地应对不确定性。
在模拟家庭环境中联合学习社会适当的代理行为
随着社会机器人越来越多地整合到日常生活中，将其行为与社会规范保持一致至关重要。对于他们广泛的开放世界应用程序，探索联邦学习（FL）设置很重要，在这些设置中，单个机器人可以在其中学习其独特的环境，同时还可以从彼此学习。在本文中，我们提出了一种新颖的FL基准，该基准使用多标签回归目标评估不同的策略，每个客户单独学习以预测不同机器人行动的社会适当性，同时也与他人分享他们的学习。此外，通过不同的上下文将培训数据分开，以使每个客户逐渐学习跨环境，我们提出了一种新颖的联合持续学习（FCL）基准，该基准适用于基于FL的方法，以使用最先进的持续学习（CL）方法，以在不同的上下文背景下持续学习社会适当的推动力。联合的平均权重（FedAvg）作为一种强大的FL策略出现，而基于彩排的FCL可以通过上下文分配逐步学习机器人行动的社会适当性。
通过峰值神经网络的神经途径的自适应重组
人的大脑可以自我组织富有和多样化的稀疏神经途径，以逐步掌握数百项认知任务。但是，大多数现有的深层人工和尖峰神经网络的持续学习算法无法充分自动调节网络中有限的资源，这会导致性能下降，随着任务的增加，能源消耗的增加。在本文中，我们提出了一种脑启发的持续学习算法，并通过自适应重新组织神经途径，该途径采用自组织调节网络来重组单个和有限的神经网络（SOR-SNN），为丰富的稀疏神经途径，以有效地处理增量任务。所提出的模型表明，在各种持续学习任务的性能，能源消耗和记忆能力方面都具有一致的延长性，从类似孩子的简单任务到复杂的任务以及广义CIFAR100和Imagenet数据集。尤其是，SOR-SNN模型擅长学习更复杂的任务以及更多的任务，并能够将过去的知识与当前任务中的信息集成在一起，显示了促进旧任务的向后转移能力。同时，所提出的模型具有不可逆损害的自我修复能力，对于修剪的网络，可以自动分配从保留网络的新途径，以恢复记忆以获取被遗忘的知识。