详细内容或原文请订阅后点击阅览
强化 AI 目标与调整 AI 代理
我写的关于人工智能的文章不多；它高于我的工资等级。但昨晚我无法入睡，我读了斯科特·亚历山大 (Scott Alexander) 的这篇文章，回应尼古拉斯·德克尔 (Nicholas Decker) 的这篇文章。简单来说（阅读原文——它们都很有趣）：德克尔认为我们无法提前解决人工智能的问题。相反，[…]后强化人工智能目标与调整人工智能代理的对比首先出现在《愤怒的熊》上。
来源:愤怒的熊我写的关于人工智能的文章不多；它高于我的工资等级。 但昨晚我无法入睡，我读了斯科特·亚历山大 (Scott Alexander) 的这篇文章，回应尼古拉斯·德克尔 (Nicholas Decker) 的这篇文章。
为了大大简化（阅读原文 - 它们都非常有趣）：Decker 认为我们无法提前解决人工智能的问题。 相反，我们会在问题出现时解决它们。 这就是我们成功处理飞机安全问题的方法——每当发生坠机或险些发生事故时，我们都会进行调查并找出如何使飞行更安全的方法。
这一观点的一个含义是，推迟人工智能研究以促进安全的建议不会让我们在没有风险的情况下享受人工智能的好处，因为我们只能通过反复试验来学习如何使人工智能更安全。
亚历山大用一个详尽且有趣的假设来回应。 原著值得一读，但其要点是，人工智能代理与飞机不同，有目标，并且愿意打破规则来实现目标。 换句话说，人工智能代理就像人一样。 他们中的一些人可能有非常糟糕的目标，而另一些人可能愿意做非常糟糕的事情来实现他们的目标。 另外，他们可以团队合作。
请注意，Alexander 和 Decker 可能都是对的。 了解人工智能安全的主要或唯一途径可能是通过经验，延迟人工智能开发并没有多大用处。 人工智能确实会造成比飞机失事更大的伤害。
对此我有一些想法。
首先，我认为人工智能安全应该侧重于防止人工智能可能做的特定的、非常糟糕的事情，而不是试图通过负强化学习为智能体提供通用的道德准则（“坏人工智能！”）。
其次，至少一些安全工作最好不要集中在人工智能上，而是集中在强化潜在目标上。
举例来说：可以说，人工智能代理可能做的最糟糕的事情就是发动核战争。 我们应该付出很多努力来避免这种可能性。 这可能意味着将核武器与人工智能隔离，以防止人工智能发起的发射。 据推测，这还意味着确保人工智能无法欺骗人类发动核攻击（例如通过渗透预警雷达）。
在我看来，我们应该在这个问题上努力工作，我们应该在这个问题上与中国人和俄罗斯人合作（这似乎是一个应该可以进行富有成效的合作的领域）。 也许我们正在解决这个问题，我不知道。 但我上面提出的两点是适用的：伤害是具体且明确的，并且大部分避免伤害的努力应该集中在强化目标，而不是控制代理。
好吧，我说我有两个想法，但实际上我有三个。
亚历山大认为，德克尔对飞机安全的类比是有缺陷的，因为人工智能代理有目标，并且愿意通过作弊来实现目标，而飞机只是愚蠢的机器。
人工智能安全和飞机安全之间还有另一个不同之处。 驾驶飞机的人（航空公司）有非常强烈的经济动机来确保飞行尽可能安全。 如果他们因不安全行为或事故而闻名，他们就会失去客户。 然而，如果人工智能公司的代理损害第三方，人工智能公司就会失去客户，这一点并不明显。 人工智能代理对第三方的巧妙攻击可能会提升人工智能公司的声誉。
责任体系可以尝试填补这一空白，但弄清楚谁应该对人工智能代理的不当行为负责并不是一个容易的问题。 人工智能公司似乎不太可能对其代理人造成的所有伤害承担严格责任。 这意味着，为了分配人工智能代理的不当行为的责任，法院可能需要确定流氓代理是否受到人工智能公司客户的不良培训，或者人工智能代理是否存在某种“产品缺陷”。 这听起来像是一场诉讼噩梦，除非你是一名侵权律师，在这种情况下，这听起来就像中了彩票。