XiaoMi-AI文件搜索系统
World File Search System持续学习
新闻摘要中的持续学习-Jiliang（Eric）li
Web服务1，David Lopez-Paz和Marc'aurelio Ranzato（2017）。连续学习的梯度情节记忆。corr，ABS/1706.08840。2，Hanul Shin，Jung Kwon Lee，Jaehong Kim和Jiwon Kim（2017）。 持续学习，并具有深刻的生成重播。 corr，ABS/1705.08690。 3，詹姆斯·柯克帕特里克（James Kirkpatrick），拉兹万·帕斯卡努（Razvan Pascanu），尼尔·C·拉比诺维茨（Neil C. Hadsell（2016）。 克服神经网络中的灾难性遗忘。 Corr，ABS/1612.00796。 4，TimothéeLesort，Hugo Caselles-Dupre，MichaëlGarciaOrtiz，Andrei Stoian和David Filliat（2018）。 从持续学习的角度来看生成模型。 corr，ABS/1812.09111。 5，Antonio Carta，Lorenzo Pellegrini，Andrea Cossu，Hamed Hemati和Vincenzo Lomonaco，“ Avalanche：Pytorch的深度持续学习图书馆”，《机器学习研究杂志》，第1卷。 24，否。 363，pp。 1-6，2023。 6，Martin Wistuba，Martin Ferianc，Lukas Balles，Cedric Archambeau和Giovanni Zappella，“ Renate：现实世界中持续学习的图书馆”，2023年，Arxiv Preprint Arxiv：2304.12067。2，Hanul Shin，Jung Kwon Lee，Jaehong Kim和Jiwon Kim（2017）。持续学习，并具有深刻的生成重播。corr，ABS/1705.08690。3，詹姆斯·柯克帕特里克（James Kirkpatrick），拉兹万·帕斯卡努（Razvan Pascanu），尼尔·C·拉比诺维茨（Neil C. Hadsell（2016）。克服神经网络中的灾难性遗忘。Corr，ABS/1612.00796。4，TimothéeLesort，Hugo Caselles-Dupre，MichaëlGarciaOrtiz，Andrei Stoian和David Filliat（2018）。 从持续学习的角度来看生成模型。 corr，ABS/1812.09111。 5，Antonio Carta，Lorenzo Pellegrini，Andrea Cossu，Hamed Hemati和Vincenzo Lomonaco，“ Avalanche：Pytorch的深度持续学习图书馆”，《机器学习研究杂志》，第1卷。 24，否。 363，pp。 1-6，2023。 6，Martin Wistuba，Martin Ferianc，Lukas Balles，Cedric Archambeau和Giovanni Zappella，“ Renate：现实世界中持续学习的图书馆”，2023年，Arxiv Preprint Arxiv：2304.12067。4，TimothéeLesort，Hugo Caselles-Dupre，MichaëlGarciaOrtiz，Andrei Stoian和David Filliat（2018）。从持续学习的角度来看生成模型。corr，ABS/1812.09111。5，Antonio Carta，Lorenzo Pellegrini，Andrea Cossu，Hamed Hemati和Vincenzo Lomonaco，“ Avalanche：Pytorch的深度持续学习图书馆”，《机器学习研究杂志》，第1卷。24，否。363，pp。1-6，2023。6，Martin Wistuba，Martin Ferianc，Lukas Balles，Cedric Archambeau和Giovanni Zappella，“ Renate：现实世界中持续学习的图书馆”，2023年，Arxiv Preprint Arxiv：2304.12067。6，Martin Wistuba，Martin Ferianc，Lukas Balles，Cedric Archambeau和Giovanni Zappella，“ Renate：现实世界中持续学习的图书馆”，2023年，Arxiv Preprint Arxiv：2304.12067。
进化：增强无监督的持续学习与多位专家
近年来在未加强的持续学习方法中取得了重大进展。尽管它们在受控设置中取得了成功，但它们在现实世界中的实用性仍然不确定。在本文中，我们首先从经验上介绍了现有的自我保护的持续学习方法。我们表明，即使有了重播缓冲液，现有的methods也无法保留与时间相关输入的视频的关键知识。我们的见解是，无监督的持续学习的主要挑战源于无法预测的意见，缺乏监督和先验知识。从Hybrid AI中汲取灵感，我们介绍了E Volve，这是一个创新的框架，它是云中的多个预审预周化模型，作为专家，以加强对Lo-cal Clister的现有自我监督的学习方法。e Volve通过新颖的专家聚合损失来利用专家指导，并从云中返回并返回。它还根据专家的信心和量身定制的先验知识将权重动态分配给专家，从而为新流数据提供自适应监督。我们在几个具有时间相关的实地世界数据流中广泛验证了E volve。结果令人信服地表明，E Volve超过了最佳的无监督持续学习方法，在跨Var-IOS数据流的Top-1线性评估准确性中，volve持续了6.1-53.7％，从而确认了多样化的专家指南的功效。代码库位于https://github.com/ orienfish/evolve。
通过稀疏诱导生成来培养大脑以实现持续学习
深度神经网络在持续学习中会遭受灾难性遗忘，在优化新任务时，它们往往会丢失有关先前学习过的任务的信息。最近的策略是隔离先前任务的重要参数，以便在学习新任务时保留旧知识。然而，使用固定的旧知识可能会成为获取新表示的障碍。为了克服这个限制，我们提出了一个框架，通过吸收新任务的知识来演化先前分配的参数。该方法在两个不同的网络下执行。基础网络学习顺序任务的知识，而稀疏诱导超网络为每个时间步骤生成参数以演化旧知识。生成的参数将基础网络的旧参数转换为反映新知识。我们设计超网络以根据任务特定信息和基础网络的结构信息生成稀疏参数。我们在图像分类和视频动作识别任务的类增量和任务增量学习场景中评估了所提出的方法。实验结果表明，通过发展旧知识，所提出的方法在这些场景中始终优于各种各样的持续学习方法。
一种脑肿瘤分割的持续学习方法
脑肿瘤的特征是脑组织异常生长，因其对全球发病率和死亡率的影响而成为一项重大的医学挑战。脑肿瘤有多种表现形式，从良性到恶性，后者尤其具有侵袭性且易于转移 (1)。脑肿瘤的病因复杂，包括放射线暴露、遗传易感性和家族史等因素，因此需要早期发现和准确诊断 (2)。在脑肿瘤诊断领域，磁共振成像 (MRI) 因其更高的空间分辨率和软组织对比度而成为优于计算机断层扫描 (CT) 的检查方式。这使得 MRI 成为脑肿瘤病例术前评估、治疗管理和生存预测所必需的 (3)。然而，MRI 扫描中传统的手动分割方法虽然是黄金标准，但却存在固有的效率低下和主观差异性，因此有必要探索自动化技术 (4、5)。近年来，深度学习模型（例如 Ma 等人提出的模型）在自动脑肿瘤分割方面取得了重大成功。这些模型擅长捕捉局部和全局上下文特征，但通常会遇到梯度消失和过拟合的问题，尤其是在较深的网络层中。Kumar 等人（7）通过将 ResNet50 与全局平均池化相结合来解决这些问题，以增强各种肿瘤类型的肿瘤分类。在此基础上，我们的研究引入了一种先进的连续学习框架，用于从 MRI 图像中分割脑肿瘤，如图 1 所示。我们的方法与现有技术不同，它集成了多尺度空间蒸馏和伪标记策略。这种方法不仅克服了以前模型中出现的梯度消失和过拟合的局限性，而且还解决了灾难性遗忘问题——这是连续学习模型中常见的挑战。与依赖于保留数据的传统方法不同，我们的研究引入了一种先进的连续学习框架，用于从 MRI 图像中分割脑肿瘤，如图 1 所示。我们的方法与现有技术不同，它集成了多尺度空间蒸馏和伪标记策略。这种方法不仅克服了以前模型中出现的梯度消失和过拟合的局限性，而且还解决了灾难性遗忘问题——这是连续学习模型中常见的挑战。与依赖于保留数据的传统方法不同，我们的研究引入了一种先进的连续学习框架，用于从 MRI 图像中分割脑肿瘤，如图 1 所示。
![[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习](/simg/4/4c1c4fb6909873de81a732fa517961b80c3e6721.webp)
[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习
持续学习（CL）构成了深层神经网络（DNN）的重大挑战，这是由于灾难性的忘记在引入新的任务时对先前获得的任务的灾难性忘记。人类在学习和适应新任务的情况下擅长而无需忘记，这是通过大脑中的融合学习系统归因于抽象体验的彩排的能力。这项研究旨在复制和验证Birt的发现，Birt的发现是一种新型方法，利用视觉变压器来增强表示练习的代表性，以进行持续学习。birt在视觉变压器的各个阶段引入了建设性噪声，并与工作模型的指数移动平均值（以减轻过度拟合并增强鲁棒性）相加。通过复制Birt的方法，我们试图验证其声称的改善，比传统的原始图像排练和香草代表对几个具有挑战性的CLENCHM分析进行排练。此外，这项研究还研究了Birt对自然和对抗性腐败的记忆效率和稳健性，旨在增强其实际适用性。复制将提供对原始论文中介绍的思想的可这种可总合性和普遍性的关键见解。
由免疫检查点抑制剂治疗的III期或IV期黑色素瘤治疗的自身免疫性疾病患者的IRAE风险：匹配的病例 - 控制研究的结果 肠道微生物生物素代谢和宿主生物素状态的损害严重肥胖症：生物素和益生元补充对改善代谢的影响 最小信息用于研究细胞外囊泡（... 南大洋中翼肠科（小行星）的多样性：一种分子和形态学方法。 混合轻型态在拓扑超导体中与空腔光子搭配的 Rhynchophorus ferrugineus enerocytobiont的完整基因组序列``candidatus nardonella dyophthoridicola'' 结合缓解策略以增加生物多样性和粮食安全的共同利益 通过动态稀疏分布式内存的在线无任务持续学习 最后院子：高速加密的基础端到端验证 替莫唑胺的化学放射疗法以及Nivolumab或安慰剂的III期试验，用于新诊断的胶质母细胞瘤，甲基化的MGMT启动子 切割中的KERF锥角的实验分析 双重乳液由PGPR和阿拉伯胶作为胶囊稳定：内部液滴的令人惊讶的稳定作用
抽象目标是量化由免疫检查点抑制剂（ICI）治疗的预先存在的自身免疫性疾病（付费）患者的免疫相关不良事件（IRAE）的风险。方法 - 对照对照研究，对法国多中心前瞻性群体进行了黑色素瘤患者，与IRAE危险因素和肿瘤学分期相匹配。通过逻辑回归评估IRAE的风险。 结果包括110例有报酬的患者，并与330个对照匹配，从2013年3月到2020年10月。。 在病例中的中位随访期间，对照组为6.9个月，与对照组相比，在病例中发展全级和≥3级伊拉斯的ORS（95％CI（1.56至2.27））和1.44（分别为95％CI（1.08至1.82））。 带薪患者的多种伊拉斯（或1.46，95％CI（1.15至2.67））的风险增加，而IRAE发作的时间较短。 相比之下，与IRAE相关的死亡率或治疗率没有差异，并且具有里程碑意义的分析显示在病例中24个月的生存率更好（P = 0.02）。 30％的病例在随访期间经历了有偿爆发，基线免疫抑制并不能阻止IRAE发生。 最后，我们报告了付费临床子集与特定器官特定的IRAE之间的关联。 在我们的研究中结论是，有报酬的患者面临全级，严重和多个伊拉斯的风险，但比对照组的生存期更好的24个月。 因此，有报酬的患者应有资格接受ICI治疗，但受益于IRAE发生的密切监测，尤其是在治疗的头几个月中。通过逻辑回归评估IRAE的风险。结果包括110例有报酬的患者，并与330个对照匹配，从2013年3月到2020年10月。在病例中的中位随访期间，对照组为6.9个月，与对照组相比，在病例中发展全级和≥3级伊拉斯的ORS（95％CI（1.56至2.27））和1.44（分别为95％CI（1.08至1.82））。带薪患者的多种伊拉斯（或1.46，95％CI（1.15至2.67））的风险增加，而IRAE发作的时间较短。相比之下，与IRAE相关的死亡率或治疗率没有差异，并且具有里程碑意义的分析显示在病例中24个月的生存率更好（P = 0.02）。30％的病例在随访期间经历了有偿爆发，基线免疫抑制并不能阻止IRAE发生。最后，我们报告了付费临床子集与特定器官特定的IRAE之间的关联。在我们的研究中结论是，有报酬的患者面临全级，严重和多个伊拉斯的风险，但比对照组的生存期更好的24个月。因此，有报酬的患者应有资格接受ICI治疗，但受益于IRAE发生的密切监测，尤其是在治疗的头几个月中。
特征聚合具有潜在的生成重播，用于联邦的持续学习社会适当的机器人行为
摘要 - 机器人要探索联合学习（FL）设置至关重要，在这些设置中，几个并行部署的机器人可以独立学习，同时还可以彼此分享他们的学习。现实世界中的这种协作学习要求社交机器人动态适应不可预测和不可预测的情况和不同的任务设置。我们的工作通过探索一个模拟的客厅环境来帮助解决这些挑战，在该环境中，机器人需要学习其行为的社会适当性。首先，我们提出了联合根（FedRoot）平均，这是一种新型的体重聚集策略，它使客户从基于任务的学习中进行学习。第二，为了适应具有挑战性的环境，我们将Fedroot扩展到联合潜伏的生成重播（FedLgr），这是一种新颖的联盟持续学习（FCL）策略，该策略使用基于FedRoot的重量聚集，并将每个客户嵌入了每个客户的生成器模型，以促进伪造的功能嵌入，以使知识的特征嵌入者忽略了一种资源良好的效果。我们的结果表明，基于FedRoot的方法提供竞争性能，同时也导致资源消耗量大幅度降低（CPU使用率高达86％，GPU使用率高达72％）。此外，我们的结果表明，基于FedRoot的FCL方法的表现优于其他方法，同时还提供了有效的解决方案（最多84％的CPU和92％的GPU使用率），FedLGR在评估中提供了最佳结果。
基于潜在空间能量的持续学习模型
摘要 — 持续学习已成为许多实际应用（例如在线新闻摘要和产品分类）中必不可少的部分。主要挑战被称为灾难性遗忘，即模型在接受新任务训练时无意中丢弃先前学习的知识的现象。现有的解决方案包括存储以前类别的样本、在微调过程中规范参数或为每个任务分配不同的模型参数。这项工作中提出的解决方案 LSEBMCL（基于潜在空间能量的持续学习模型）是使用基于能量的模型 (EBM) 来防止灾难性遗忘，方法是在对新任务进行训练时从先前的任务中采样数据点。EBM 是一种将能量值与每个输入数据点相关联的机器学习模型。所提出的方法使用 EBM 层作为 NLP 任务持续学习框架中的外部生成器。该研究证明了 EBM 在 NLP 任务中的有效性，在所有实验中都取得了最先进的结果。索引词——持续学习、基于能量的模型、灾难性遗忘、问答、语言生成
基于潜在空间能量的持续学习模型
摘要 — 持续学习已成为许多实际应用（例如在线新闻摘要和产品分类）中必不可少的部分。主要挑战被称为灾难性遗忘，即模型在接受新任务训练时无意中丢弃先前学习的知识的现象。现有的解决方案包括存储以前类别的样本、在微调过程中规范参数或为每个任务分配不同的模型参数。这项工作中提出的解决方案 LSEBMCL（基于潜在空间能量的持续学习模型）是使用基于能量的模型 (EBM) 来防止灾难性遗忘，方法是在对新任务进行训练时从先前的任务中采样数据点。EBM 是一种将能量值与每个输入数据点相关联的机器学习模型。所提出的方法使用 EBM 层作为 NLP 任务持续学习框架中的外部生成器。该研究证明了 EBM 在 NLP 任务中的有效性，在所有实验中都取得了最先进的结果。索引词——持续学习、基于能量的模型、灾难性遗忘、问答、语言生成