XiaoMi-AI文件搜索系统
World File Search System不服从
人工智能代理不服从的故意影响
机器人应该按照指令行事。对许多人来说，机器人或人工智能 (AI) 代理不完全按照人类用户的指令行事的想法引发了令人担忧的担忧：即使是简单代理违抗命令的例子，也是无法控制的“超级智能”[ 4 ] 或机器人起义的末日场景的预兆。虽然这些推测场景的可能性和可行性值得商榷，但它们的不可取性却毋庸置疑。更具体地说，目前现实世界中的自主系统有各种各样的例子，它们的行为危险地违背了公认的人类法规和规范。例如，据报道，一些当前的自动驾驶汽车原型“不服从”停车标志 [ 22 ]，如果不纠正，这种行为可能会导致严重的人身伤害。因此，无论是科幻小说中推测的机器人末日，还是更常见的违反交通法规的自动驾驶汽车，都存在明显表现出不良“不服从”行为的空间，这些行为构成了必须避免的危险。
辅助机器人中的智能不服从和人工智能叛乱代理
摘要。随着服务机器人越来越多地融入辅助技术，需要对这些机器人自主性的界限和范围进行推理，例如它们何时应该仅仅对环境做出反应，何时应该做出主动决策，何时应该覆盖命令。在大多数现有研究中，“好”辅助机器人的定义是遵从给定命令的机器人。最近的两篇论文挑战了这一观点，并描述了系统可能选择反抗命令或由于深刻理解处理者的意图而违抗处理者的情景。本文对这两篇论文进行了比较讨论，以及它们如何共同为可以覆盖命令的辅助机器人创建一个更全面的框架。