Omnisafe:加速安全加固学习研究的基础设施
机构名称:
¥ 1.0

AI系统通过增强学习(RL)算法具有促进社会发展的巨大潜力,但他们的部署经常受到安全的安全问题的阻碍。尤其是在关键安全应用中,研究人员提出了人们对未对齐RL代理的意外危害或不安全行为的担忧。安全加强学习的哲学(Saferl)是使RL代理与无害的意图和安全的行为模式保持一致。在Saferl中,代理商通过从环境中收到反馈来制定最佳政策,同时还满足了最大程度地减少意外伤害或不安全行为的风险的要求。但是,由于Saferl算法实现的复杂性质,将各个领域的方法结合起来提出了巨大的挑战。这导致在当代Saferl Research Milieu中缺乏凝聚力和有效的学习框架。在这项工作中,我们引入了一个旨在加快Saferl研究努力的基础框架。我们的综合框架涵盖了一系列涉及不同RL域的算法,并对安全元素进行了极大的重视。我们的效果将使与Saferl相关的搜索过程更加精简和有效,从而促进了AI安全性的进一步研究。我们的项目发布于:https://github.com/pku-alignment/omnisafe。关键字:安全加强学习,学习框架,并行加速

Omnisafe:加速安全加固学习研究的基础设施

Omnisafe:加速安全加固学习研究的基础设施PDF文件第1页

Omnisafe:加速安全加固学习研究的基础设施PDF文件第2页

Omnisafe:加速安全加固学习研究的基础设施PDF文件第3页

Omnisafe:加速安全加固学习研究的基础设施PDF文件第4页

Omnisafe:加速安全加固学习研究的基础设施PDF文件第5页