XiaoMi-AI文件搜索系统
World File Search System持续学习
持续学习 2020
• Michaela W. Miller 博士，教育学博士、NBCT，副主管 michaela.miller@k12.wa.us | 360-725-6343 • Becky Wallace，职业和技术教育执行总监 rebecca.wallace@k12.wa.us | 360-725-6219 • Cindy Rockholt，NBCT，教育者成长与发展助理主管 cindy.rockholt@k12.wa.us | 360-725-6442 • Deb Came 博士，评估和学生信息助理主管 deb.came@k12.wa.us | 360-725-6088 • Gayle Pauley，特殊项目和联邦问责助理主管 gayle.pauley@k12.wa.us | 360-725-6170 • Glenna Gallo，特殊教育助理主管 glenna.gallo@k12.wa.us | 360-725-6075 • Kathe Taylor 博士，学习与教学助理主管 kathe.taylor@k12.wa.us | 360-725-6432 • Martin Mueller，学生参与与支持助理主管 martin.mueller@k12.wa.us | 360-725-6175 • Tennille Jeffries-Simmons，系统与学校改进助理主管 tennille.jeffries-simmons@k12.wa.us | 360-725-4960
持续学习即服务 (CLaaS)
摘要 如今，预测机器学习模型通常以无状态且昂贵的方式进行更新。对于想要构建基于机器学习的应用程序和系统的公司来说，未来的主要趋势是实时推理和持续更新。不幸的是，这两种趋势都需要成熟的基础设施，而这些基础设施在本地实现起来既困难又昂贵。本文定义了一种称为持续学习即服务 (CLaaS) 的新型软件服务和模型交付基础设施来解决这些问题。具体来说，它包含持续机器学习和持续集成技术。它为数据科学家提供模型更新和验证工具支持，而无需本地解决方案，并且以高效、有状态且易于使用的方式提供。最后，这种 CL 模型服务很容易封装在任何机器学习基础设施或云系统中。本文介绍了一种称为 Continual Brain 的 CLaaS 实例的设计和实现，并在两个真实场景中进行了评估。前者是使用 CORe50 数据集的机器人对象识别设置，而后者是使用时尚领域的 DeepFashion-C 数据集的命名类别和属性预测。我们的初步结果表明，无论计算发生在连续边缘云的何处，持续学习模型服务的可用性和效率以及该解决方案在解决实际用例方面的有效性。
Edge-ai的联合持续学习
edge-ai是边缘计算和人工智能（AI）的收敛性，已成为一个有希望的偏见，可以在网络边缘部署高级AI模型，靠近用户。在Edge-ai中，联邦持续学习（FCL）已成为一个当务之急，该框架融合了不同客户的知识，同时保留数据隐私并在学习新任务时从先前的任务中保留知识。这样做，FCL旨在确保在动态和分布式环境中学习模型的稳定和可靠的性能。在这项调查中，我们彻底回顾了最新的研究，并介绍了Edge-AI的FCL的首次全面调查。我们根据三个任务特征对FCL方法进行分类：联合班级持续学习，联合领域持续学习和联合任务持续学习。对于每个类别，提供了对代表性方法的深入调查和审查，涵盖了背景，挑战，问题形式化，解决方案和局限性。此外，还审查了FCL授权的现有现实世界中的现实信息，这表明FCL在不同的应用域中的当前进展和潜力。此外，我们讨论并突出了FCL的几个前瞻性研究指示，例如针对FCL和FCL的算法 - 硬件共同设计与基础模型，这可以为Edge-AI时代提供对FCL的未来发展和实际部署的见解。
通过持续学习实现可持续的人工智能
从原始数据中学习的人工智能系统被广泛应用于大量现实世界的应用中 [1]。它们的性能极大地提高了我们能够解决以前无法完成的任务的程度（例如机器翻译、图像分割、语音转文本等）。幸运的是，围绕人工智能的争论不仅集中在其性能上，而且还越来越多地关注其他非功能性属性，如可解释性、隐私性和可扩展性 [2]。特别是，可持续人工智能框架包含一组原则，这些原则通常被认为过于笼统和抽象，无法带来具体的实施手段 [3]。在本文中，我们重点关注“人工智能的可持续性”，并展示了人工智能中最近兴起的一个主题——持续学习 [4]，它如何成为使当前人工智能伦理原则更具操作性（它们的主要批评之一）以及更具社会、经济和环境可持续性的合适候选者。我们首先回顾可持续人工智能框架，然后介绍持续学习目标的主要特征。最后，我们展示了可持续人工智能与持续学习目标之间的紧密对应关系，并讨论了后者的未来研究如何能够导致系统能够遵守先前描述的可持续人工智能原则。
动态大满贯的持续学习观点
摘要。同时进行定位和映射（SLAM）与神经代表性的同时定位和映射（由于表现力的能力和持续学习的创新范式）受到了广泛的关注。但是，在动态环境中部署这种系统尚未得到充分研究。即使对于常规算法，这种挑战也是棘手的，因为涉及的不同观点的观察涉及涉及的几何和光度一致性，而一致性为关节优化相机姿势和地图参数奠定了基础。在本文中，我们最好利用持续学习的特征，并为动态环境提出一个新颖的SLAM框架。虽然过去的努力避免通过利用体验重播策略来避免灾难性遗忘，但我们将忘记视为理想的特征。通过自适应控制重播的缓冲区，可以通过遗忘来缓解移动物体引起的歧义。我们通过引入不断学习的分类器以进行动态观察识别来限制动态对象的重播。神经图和分类器的迭代优化显着改善了在动态环境下的稳健性。对挑战数据集进行的实验验证了提出的框架的有效性。
基于潜在空间能量的持续学习模型
摘要 — 持续学习已成为许多实际应用（例如在线新闻摘要和产品分类）中必不可少的部分。主要挑战被称为灾难性遗忘，即模型在接受新任务训练时无意中丢弃先前学习的知识的现象。现有的解决方案包括存储以前类别的样本、在微调过程中规范参数或为每个任务分配不同的模型参数。这项工作中提出的解决方案 LSEBMCL（基于潜在空间能量的持续学习模型）是使用基于能量的模型 (EBM) 来防止灾难性遗忘，方法是在对新任务进行训练时从先前的任务中采样数据点。EBM 是一种将能量值与每个输入数据点相关联的机器学习模型。所提出的方法使用 EBM 层作为 NLP 任务持续学习框架中的外部生成器。该研究证明了 EBM 在 NLP 任务中的有效性，在所有实验中都取得了最先进的结果。索引词——持续学习、基于能量的模型、灾难性遗忘、问答、语言生成
基于潜在空间能量的持续学习模型
摘要 — 持续学习已成为许多实际应用（例如在线新闻摘要和产品分类）中必不可少的部分。主要挑战被称为灾难性遗忘，即模型在接受新任务训练时无意中丢弃先前学习的知识的现象。现有的解决方案包括存储以前类别的样本、在微调过程中规范参数或为每个任务分配不同的模型参数。这项工作中提出的解决方案 LSEBMCL（基于潜在空间能量的持续学习模型）是使用基于能量的模型 (EBM) 来防止灾难性遗忘，方法是在对新任务进行训练时从先前的任务中采样数据点。EBM 是一种将能量值与每个输入数据点相关联的机器学习模型。所提出的方法使用 EBM 层作为 NLP 任务持续学习框架中的外部生成器。该研究证明了 EBM 在 NLP 任务中的有效性，在所有实验中都取得了最先进的结果。索引词——持续学习、基于能量的模型、灾难性遗忘、问答、语言生成
在一个开放而充满活力的世界中持续学习
构建可以处理大量实时传感器捕获数据的自主代理对于许多现实世界中的应用至关重要，包括自动驾驶汽车，机器人技术和医学中的AI。由于代理商通常需要在动态环境中进行表达，因此，这是一个理想的和具有挑战性的目标，可以使代理商能够随着时间的推移而不会绩效降解。持续学习旨在建立一个持续的学习者，该学习者可以通过数据流学习新概念，同时保留先前学习的概念。在演讲中，我将调查我最近关于持续学习的研究的三项（i）持续学习，（ii）无监督的持续学习，以及（iii）多模式的共同学习。在第一份工作中，我将讨论一种被监督的持续学习算法，称为Mega，该算法动态平衡了旧任务和新任务。在第二次工作中，我将讨论无监督的持续学习算法，这些学习算法不断地学习表示，而无需访问标签。在第三次工作中，我将详细说明一种有效的持续学习算法，该算法可以在不忘记的情况下连续学习多种模态。