XiaoMi-AI文件搜索系统
World File Search SystemContinua
通过稀疏诱导生成来培养大脑以实现持续学习
深度神经网络在持续学习中会遭受灾难性遗忘，在优化新任务时，它们往往会丢失有关先前学习过的任务的信息。最近的策略是隔离先前任务的重要参数，以便在学习新任务时保留旧知识。然而，使用固定的旧知识可能会成为获取新表示的障碍。为了克服这个限制，我们提出了一个框架，通过吸收新任务的知识来演化先前分配的参数。该方法在两个不同的网络下执行。基础网络学习顺序任务的知识，而稀疏诱导超网络为每个时间步骤生成参数以演化旧知识。生成的参数将基础网络的旧参数转换为反映新知识。我们设计超网络以根据任务特定信息和基础网络的结构信息生成稀疏参数。我们在图像分类和视频动作识别任务的类增量和任务增量学习场景中评估了所提出的方法。实验结果表明，通过发展旧知识，所提出的方法在这些场景中始终优于各种各样的持续学习方法。
新闻摘要中的持续学习-Jiliang（Eric）li
Web服务1，David Lopez-Paz和Marc'aurelio Ranzato（2017）。连续学习的梯度情节记忆。corr，ABS/1706.08840。2，Hanul Shin，Jung Kwon Lee，Jaehong Kim和Jiwon Kim（2017）。 持续学习，并具有深刻的生成重播。 corr，ABS/1705.08690。 3，詹姆斯·柯克帕特里克（James Kirkpatrick），拉兹万·帕斯卡努（Razvan Pascanu），尼尔·C·拉比诺维茨（Neil C. Hadsell（2016）。 克服神经网络中的灾难性遗忘。 Corr，ABS/1612.00796。 4，TimothéeLesort，Hugo Caselles-Dupre，MichaëlGarciaOrtiz，Andrei Stoian和David Filliat（2018）。 从持续学习的角度来看生成模型。 corr，ABS/1812.09111。 5，Antonio Carta，Lorenzo Pellegrini，Andrea Cossu，Hamed Hemati和Vincenzo Lomonaco，“ Avalanche：Pytorch的深度持续学习图书馆”，《机器学习研究杂志》，第1卷。 24，否。 363，pp。 1-6，2023。 6，Martin Wistuba，Martin Ferianc，Lukas Balles，Cedric Archambeau和Giovanni Zappella，“ Renate：现实世界中持续学习的图书馆”，2023年，Arxiv Preprint Arxiv：2304.12067。2，Hanul Shin，Jung Kwon Lee，Jaehong Kim和Jiwon Kim（2017）。持续学习，并具有深刻的生成重播。corr，ABS/1705.08690。3，詹姆斯·柯克帕特里克（James Kirkpatrick），拉兹万·帕斯卡努（Razvan Pascanu），尼尔·C·拉比诺维茨（Neil C. Hadsell（2016）。克服神经网络中的灾难性遗忘。Corr，ABS/1612.00796。4，TimothéeLesort，Hugo Caselles-Dupre，MichaëlGarciaOrtiz，Andrei Stoian和David Filliat（2018）。 从持续学习的角度来看生成模型。 corr，ABS/1812.09111。 5，Antonio Carta，Lorenzo Pellegrini，Andrea Cossu，Hamed Hemati和Vincenzo Lomonaco，“ Avalanche：Pytorch的深度持续学习图书馆”，《机器学习研究杂志》，第1卷。 24，否。 363，pp。 1-6，2023。 6，Martin Wistuba，Martin Ferianc，Lukas Balles，Cedric Archambeau和Giovanni Zappella，“ Renate：现实世界中持续学习的图书馆”，2023年，Arxiv Preprint Arxiv：2304.12067。4，TimothéeLesort，Hugo Caselles-Dupre，MichaëlGarciaOrtiz，Andrei Stoian和David Filliat（2018）。从持续学习的角度来看生成模型。corr，ABS/1812.09111。5，Antonio Carta，Lorenzo Pellegrini，Andrea Cossu，Hamed Hemati和Vincenzo Lomonaco，“ Avalanche：Pytorch的深度持续学习图书馆”，《机器学习研究杂志》，第1卷。24，否。363，pp。1-6，2023。6，Martin Wistuba，Martin Ferianc，Lukas Balles，Cedric Archambeau和Giovanni Zappella，“ Renate：现实世界中持续学习的图书馆”，2023年，Arxiv Preprint Arxiv：2304.12067。6，Martin Wistuba，Martin Ferianc，Lukas Balles，Cedric Archambeau和Giovanni Zappella，“ Renate：现实世界中持续学习的图书馆”，2023年，Arxiv Preprint Arxiv：2304.12067。
进化：增强无监督的持续学习与多位专家
近年来在未加强的持续学习方法中取得了重大进展。尽管它们在受控设置中取得了成功，但它们在现实世界中的实用性仍然不确定。在本文中，我们首先从经验上介绍了现有的自我保护的持续学习方法。我们表明，即使有了重播缓冲液，现有的methods也无法保留与时间相关输入的视频的关键知识。我们的见解是，无监督的持续学习的主要挑战源于无法预测的意见，缺乏监督和先验知识。从Hybrid AI中汲取灵感，我们介绍了E Volve，这是一个创新的框架，它是云中的多个预审预周化模型，作为专家，以加强对Lo-cal Clister的现有自我监督的学习方法。e Volve通过新颖的专家聚合损失来利用专家指导，并从云中返回并返回。它还根据专家的信心和量身定制的先验知识将权重动态分配给专家，从而为新流数据提供自适应监督。我们在几个具有时间相关的实地世界数据流中广泛验证了E volve。结果令人信服地表明，E Volve超过了最佳的无监督持续学习方法，在跨Var-IOS数据流的Top-1线性评估准确性中，volve持续了6.1-53.7％，从而确认了多样化的专家指南的功效。代码库位于https://github.com/ orienfish/evolve。
对小型非IID批次的无连续学习
机器人视觉是一个领域，不断学习可以发挥重要作用。需要在复杂环境中运行的一种体现的代理，需要经常进行频繁且无法预测的更改才能连续学习和适应。在对象识别的上下文中，例如，机器人应该能够学习（而不忘记）从未见过的类别的对象，并在发现已经知道的班级的新知名度中提高其识别能力。理想情况下，应通过单个对象的简短视频的可用性来触发持续学习，并在线硬件上使用细粒度更新。在本文中，我们引入了一种基于Core50基准的新型持续学习方案，并提出了两种无彩排的连续学习技术CWR*和AR1*，即使在近400个小型非i.i.i.i.i.i.i.i.d的挑战性案例中，也可以有效地学习。增量批处理。尤其是我们的经验表明，在某些情况下，AR1*可以超过15％的精度，均超过15％，在某些情况下，跨培训批次的精确度和恒定的计算和内存开销。
![[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习](/simg/4/4c1c4fb6909873de81a732fa517961b80c3e6721.webp)
[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习
持续学习（CL）构成了深层神经网络（DNN）的重大挑战，这是由于灾难性的忘记在引入新的任务时对先前获得的任务的灾难性忘记。人类在学习和适应新任务的情况下擅长而无需忘记，这是通过大脑中的融合学习系统归因于抽象体验的彩排的能力。这项研究旨在复制和验证Birt的发现，Birt的发现是一种新型方法，利用视觉变压器来增强表示练习的代表性，以进行持续学习。birt在视觉变压器的各个阶段引入了建设性噪声，并与工作模型的指数移动平均值（以减轻过度拟合并增强鲁棒性）相加。通过复制Birt的方法，我们试图验证其声称的改善，比传统的原始图像排练和香草代表对几个具有挑战性的CLENCHM分析进行排练。此外，这项研究还研究了Birt对自然和对抗性腐败的记忆效率和稳健性，旨在增强其实际适用性。复制将提供对原始论文中介绍的思想的可这种可总合性和普遍性的关键见解。
特征聚合具有潜在的生成重播，用于联邦的持续学习社会适当的机器人行为
摘要 - 机器人要探索联合学习（FL）设置至关重要，在这些设置中，几个并行部署的机器人可以独立学习，同时还可以彼此分享他们的学习。现实世界中的这种协作学习要求社交机器人动态适应不可预测和不可预测的情况和不同的任务设置。我们的工作通过探索一个模拟的客厅环境来帮助解决这些挑战，在该环境中，机器人需要学习其行为的社会适当性。首先，我们提出了联合根（FedRoot）平均，这是一种新型的体重聚集策略，它使客户从基于任务的学习中进行学习。第二，为了适应具有挑战性的环境，我们将Fedroot扩展到联合潜伏的生成重播（FedLgr），这是一种新颖的联盟持续学习（FCL）策略，该策略使用基于FedRoot的重量聚集，并将每个客户嵌入了每个客户的生成器模型，以促进伪造的功能嵌入，以使知识的特征嵌入者忽略了一种资源良好的效果。我们的结果表明，基于FedRoot的方法提供竞争性能，同时也导致资源消耗量大幅度降低（CPU使用率高达86％，GPU使用率高达72％）。此外，我们的结果表明，基于FedRoot的FCL方法的表现优于其他方法，同时还提供了有效的解决方案（最多84％的CPU和92％的GPU使用率），FedLGR在评估中提供了最佳结果。
持续在线脑电图运动意象解码的微调策略：来自大规模纵向研究的见解
摘要 — 本研究调查了在涉及大型用户组和每个参与者多个会话的因果环境中在线纵向脑电图 (EEG) 运动想象 (MI) 解码中深度学习的持续微调策略。我们是第一个在大型用户组中探索此类策略的人，因为纵向适应通常是在单个受试者环境中使用单一适应策略进行研究的，这限制了推广研究结果的能力。首先，我们研究了不同的微调方法对解码器性能和稳定性的影响。在此基础上，我们集成了在线测试时间适应 (OTTA) 以在部署期间调整模型，补充了先前微调的效果。我们的研究结果表明，基于先前特定于主题的信息连续进行的微调可以提高性能和稳定性，而 OTTA 可以有效地使模型适应连续会话中不断变化的数据分布，从而实现无校准操作。这些结果为纵向在线 MI 解码的未来研究提供了宝贵的见解和建议，并强调了结合领域适应策略对提高实际应用中的 BCI 性能的重要性。临床相关性——我们的研究实现了更稳定、更有效的长期运动想象解码，这对于神经康复和辅助技术至关重要。
第四个生物生物医学科学临时评估时间表
Week Friday 11am-1pm 2-3pm 3-4pm 4-5pm 5-6 pm 10am-1pm 1-2pm 2-3pm 3-4pm 4-5pm 5-6pm 9-10am 2-3pm 3-4pm 4-5pm 5-6pm 1-2pm 2-3pm 3-4pm 4-5pm 12N-1pm 1-2pm 2-3pm 5pm学期1
结合缓解策略以增加生物多样性和粮食安全的共同利益
摘要。本文解决了在线无任务持续学习的一个非常具有挑战性的问题，其中仅使用每个样本一次培训一次，而在不了解任务边界的情况下，从非平稳数据中学习了一系列新任务。我们在本文中提出了一种有效的半分布的关联存储算法，称为动态稀疏分布式内存（DSDM），其中可以在任何时间点进行学习和评估。dsdm会动态发展，并不断建模任何非平稳数据流的分布。dsdm依赖于本地分布式，但仅部分重叠的表示形式群集有效消除了灾难性的遗忘，同时保持了分布式网络的概括能力。此外，使用基于局部密度的修剪技术来控制网络的内存足迹。dsdm在不同的图像分类基准中，即使在低数据状态下，DIV> DIV> DIV> DIV> DIV> DIV> DIV> DIV> DIV> DIV> DIV> DIV> DIV>。代码公开可用：https：//github.com/julien-pour/dynamic-sparse-distributed-monem
基于潜在空间能量的持续学习模型
摘要 — 持续学习已成为许多实际应用（例如在线新闻摘要和产品分类）中必不可少的部分。主要挑战被称为灾难性遗忘，即模型在接受新任务训练时无意中丢弃先前学习的知识的现象。现有的解决方案包括存储以前类别的样本、在微调过程中规范参数或为每个任务分配不同的模型参数。这项工作中提出的解决方案 LSEBMCL（基于潜在空间能量的持续学习模型）是使用基于能量的模型 (EBM) 来防止灾难性遗忘，方法是在对新任务进行训练时从先前的任务中采样数据点。EBM 是一种将能量值与每个输入数据点相关联的机器学习模型。所提出的方法使用 EBM 层作为 NLP 任务持续学习框架中的外部生成器。该研究证明了 EBM 在 NLP 任务中的有效性，在所有实验中都取得了最先进的结果。索引词——持续学习、基于能量的模型、灾难性遗忘、问答、语言生成