摘要 - 在某些情况下,任何自主控制器都会不安全。定量确定这些不安全情况何时即将发生的能力对于及时的人类监督,例如货运运输应用至关重要。在这项工作中,我们证明了代理人情况的真正批判性可以牢固地定义为鉴于某些随机行动的奖励的平均减少。可以将实时计算的临界指标(即,不实际模拟随机动作的效果)与真正的临界性进行比较,我们展示了如何利用这些代理指标来产生安全边际,这直接将潜在不正确的行动与预期的损失联系起来,以使其在整体绩效中造成预期损失。我们在ATARI环境中评估了从APE-X和A3C学习的策略的方法,并证明了随着代理的接近故障状态,安全利润如何降低。将安全利润集成到监视部署的代理的程序中,可以实时识别潜在的灾难性情况。
主要关键词