机器人应该按照指令行事。对许多人来说，机器人或人工智能 (AI) 代理不完全按照人类用户的指令行事的想法引发了令人担忧的担忧：即使是简单代理违抗命令的例子，也是无法控制的“超级智能”[ 4 ] 或机器人起义的末日场景的预兆。虽然这些推测场景的可能性和可行性值得商榷，但它们的不可取性却毋庸置疑。更具体地说，目前现实世界中的自主系统有各种各样的例子，它们的行为危险地违背了公认的人类法规和规范。例如，据报道，一些当前的自动驾驶汽车原型“不服从”停车标志 [ 22 ]，如果不纠正，这种行为可能会导致严重的人身伤害。因此，无论是科幻小说中推测的机器人末日，还是更常见的违反交通法规的自动驾驶汽车，都存在明显表现出不良“不服从”行为的空间，这些行为构成了必须避免的危险。