Loading...
机构名称:
¥ 1.0

摘要 - 基于数据所有者的删除请求对机器学习模型的特定培训数据对机器学习模型的影响的过程。但是,在学习研究中很大程度上忽略了一个重要领域是强化学习。强化学习的重点是培训代理,以在环境中做出最佳决策,以最大程度地提高其累积奖励。在培训期间,代理商倾向于记住环境的特征,这引起了人们对隐私的重大关注。根据数据保护法规,环境的所有者有权撤销对代理商培训数据的访问权,因此必须开发一个新的研究领域,称为加固。加固的学习重点是撤销整个环境而不是单个数据样本。这个独特的特征提出了三个不同的挑战:1)如何针对环境提出学习方案; 2)如何避免在剩余的环境中降低代理商的演出; 3)如何评估学习的有效性。为了应对这些挑战,我们提出了两种加强学习方法。第一种方法基于减少强化学习,该学习旨在逐渐消除代理商以前获得的知识。第二种方法利用环境中毒攻击,这鼓励代理商学习新的,尽管不正确,但知识以消除未学习的环境。尤其是为了应对第三项挑战,我们介绍了“环境推论”的概念,以评估未学习的结果。源代码可在https://github.com/cp-lab-uts/reinforcement-unlearning上找到。

加固

加固PDF文件第1页

加固PDF文件第2页

加固PDF文件第3页

加固PDF文件第4页

加固PDF文件第5页