深度强化学习(RL)被用作一种教授机器人代理如何自主学习复杂任务的策略。虽然稀疏性是在现实的机器人场景中定义奖励的自然方式,但它为代理提供了差的学习信号,从而使良好的奖励功能的设计具有挑战性。使用隐式脑部计算机界面(BCI)克服从人类反馈中学习的挑战。我们将BCI与深度RL相结合,用于在3-D物理逼真的模拟环境中进行机器人训练。在第一项研究中,我们比较了不同的脑电图(EEG)系统(湿度与基于干燥的电极)的可行性,并比较了在机器人任务中使用不同机器学习模型的机器人任务中自动分类的感知错误。在第二项研究中,我们将基于BCI的深度RL培训的表现与参与者明确给出的反馈进行了比较。我们从第一项研究中发现的发现表明,使用高质量的基于干燥的脑电图系统可以提供强大而快速的方法,用于使用复杂的卷积神经网络机器学习模型自动评估机器人行为。我们的第二项研究的结果证明,基于隐式BCI的深度RL版本与干燥的EEG系统结合使用,可以在现实的3-D机器人模拟环境中显着加速学习过程。基于BCI的训练的深RL模型的性能甚至与通过明确的人类反馈所实现的方法相当。我们的发现强调了基于BCI的深度RL方法的用法是在那些无法获得认知要求的明确人类反馈的人类机器人应用中的有效替代方案。
主要关键词