机器反学习,即机器学习模型的遗忘能力,在遵守数据隐私法规以及删除有害、被操纵或过时信息方面变得越来越重要。关键挑战在于忘记特定信息,同时保护模型在剩余数据上的性能。虽然当前最先进的方法表现良好,但它们通常需要对保留的数据进行一定程度的再训练,以保护或恢复模型性能。这增加了计算开销,并要求训练数据保持可用和可访问,而这可能是不可行的。相比之下,其他方法采用无再训练范式,但这些方法的计算成本过高,且性能不如基于再训练的方法。我们提出了选择性突触抑制 (SSD),这是一种新颖的两步、事后、无再训练的机器反学习方法,它速度快、性能好,并且不需要长期存储训练数据。首先,SSD 使用训练和遗忘数据的 Fisher 信息矩阵来选择对遗忘集不成比例的重要参数。其次,SSD 通过抑制这些参数来诱导遗忘,抑制程度与它们相对于更广泛的训练数据对遗忘集的相对重要性成正比。我们在一系列使用 ResNet18 和 Vision Transformer 的实验中将我们的方法与几种现有的反学习方法进行了比较。结果表明,SSD 的性能与基于再训练的事后方法相媲美,证明了无再训练事后反学习方法的可行性。
摘要 - 人工认知体系结构传统上依靠复杂的记忆模型来编码,存储和检索信息。但是,将所有数据从工作记忆(WM)转移到长期内存(LTM)的常规实践导致高度数据量和有效的信息处理和访问的挑战。确定在机器人LTM中保留或丢弃的信息尤其具有挑战性,因为缺乏有关未来数据利用的知识。从人类忘记本文中汲取灵感,并评估只有在遇到新信息时,才能在机器人的LTM中巩固新颖的遗忘技术。所提出的方法结合了在数据传输到机器人LTM期间的快速过滤,而较慢,更精确的遗忘机制,这些机制会定期评估LTM内部的离线数据删除。我们比较了不同的机制,利用指标,例如数据相似性,数据年龄和合并频率。通过比较两个ARMAR机器人在其LTM中搜索过去的对象位置中以情节为中心的自我图像和机器人状态数据中搜索过去对象位置的任务,可以评估忘记技术的功效。实验结果表明,我们的遗忘技术大大降低了机器人LTM的空间要求,同时保持其成功执行依靠LTM信息的任务的能力。值得注意的是,基于相似性的遗忘方法的表现优于基于频率和时间的方法。与使用单个遗忘策略相比,基于在线频率的,基于在线相似性,基于离线相似性和基于时间的衰减方法的组合显示出卓越的性能。
文学是将思想表达为美丽单词的工具之一。人们可以使用文学来识别他人的个性。这项研究的目的是在约瑟夫·科辛斯基(Joseph Kosinski)执导的《遗忘》电影中描述杰克·哈珀(Jack Harper)的性格。这项研究使用基于Sigmund Freud的心理分析理论的描述性定性研究。弗洛伊德将个性的结构分为三个是ID,自我和超级巨人的部分。本研究中的收集数据使用文档和分析数据使用内容分析。研究人员发现杰克·哈珀(Jack Harper)的性格是ID,EGO和Superego。出现了。他的好奇心很强烈。这是因为他发现了一些新的和不同的东西。杰克·哈珀(Jack Harper)的自我知道事实和欲望与众不同时,他出现了。他还考虑了周围的其他人,这表明了他的超级行动。
量子加密的嘈杂存储模型允许根据以下假设:作弊用户最多可以访问不完美,嘈杂的量子内存,而诚实的用户根本不需要量子存储器。通常,作弊用户的量子存储器越嘈杂,越来越安全的遗忘转移的实现,这是一个原始的,可以允许通用安全的两方和多方计算。对于遗忘转移的实验实现,必须考虑诚实用户所拥有的设备有损和嘈杂,并且需要应用错误校正以纠正这些可信赖的错误。后者有望降低协议的安全性,因为作弊用户可能会隐藏在可信赖的噪声中。在这里,我们利用熵的不确定性关系,以信任和不信任的噪声来获得关于遗忘转移的安全性的紧密界限。特别是,我们讨论具有独立且相关的噪声的嘈杂存储和有限存储。
C. 长期记忆 LTM 在很多方面与 STM 不同。它具有无限的容量,访问时间很慢,遗忘发生得更慢或根本不发生。信息通过排练从 STM 存储在这里。LTM 有两种类型:情景记忆和语义记忆。情景记忆以序列形式表示我们对事件和经历的记忆。语义记忆是我们从情景记忆中获得的事实、概念和技能的结构化记录。与 LTM 相关的主要活动有 3 种:信息存储、遗忘和信息检索。
在我们心中占据着重要的位置。随着岁月的流逝,珍贵的回忆被遗忘在路边。..
摘要 — 持续学习已成为许多实际应用(例如在线新闻摘要和产品分类)中必不可少的部分。主要挑战被称为灾难性遗忘,即模型在接受新任务训练时无意中丢弃先前学习的知识的现象。现有的解决方案包括存储以前类别的样本、在微调过程中规范参数或为每个任务分配不同的模型参数。这项工作中提出的解决方案 LSEBMCL(基于潜在空间能量的持续学习模型)是使用基于能量的模型 (EBM) 来防止灾难性遗忘,方法是在对新任务进行训练时从先前的任务中采样数据点。EBM 是一种将能量值与每个输入数据点相关联的机器学习模型。所提出的方法使用 EBM 层作为 NLP 任务持续学习框架中的外部生成器。该研究证明了 EBM 在 NLP 任务中的有效性,在所有实验中都取得了最先进的结果。索引词——持续学习、基于能量的模型、灾难性遗忘、问答、语言生成
摘要 — 持续学习已成为许多实际应用(例如在线新闻摘要和产品分类)中必不可少的部分。主要挑战被称为灾难性遗忘,即模型在接受新任务训练时无意中丢弃先前学习的知识的现象。现有的解决方案包括存储以前类别的样本、在微调过程中规范参数或为每个任务分配不同的模型参数。这项工作中提出的解决方案 LSEBMCL(基于潜在空间能量的持续学习模型)是使用基于能量的模型 (EBM) 来防止灾难性遗忘,方法是在对新任务进行训练时从先前的任务中采样数据点。EBM 是一种将能量值与每个输入数据点相关联的机器学习模型。所提出的方法使用 EBM 层作为 NLP 任务持续学习框架中的外部生成器。该研究证明了 EBM 在 NLP 任务中的有效性,在所有实验中都取得了最先进的结果。索引词——持续学习、基于能量的模型、灾难性遗忘、问答、语言生成