然而,人工智能的加速发展是一个重大且日益严峻的安全挑战。与核技术一样,人工智能本质上是一种双重用途技术,很快就会被滥用于恶意目的。基于机器学习的人工智能系统,从示例而不是预定义的规则中学习执行任务,也带来了与其统计性质相关的前所未有的安全风险,具有新的和不可预测的故障模式。它们不是很强大,即它们的行为可能在新的环境中突然改变,并且很难解释:它们是自主运行的“黑匣子”,我们不知道它们是如何或为什么运行的。谷歌 (BARD)、微软 (Bing) 或 OpenAI (ChatGPT) 无法阻止其对话代理产生事实错误和暴力或偏见行为。随着这些系统变得更加强大和自主,正确指定它们的目标,即确保系统的目标与用户的偏好和共同利益保持一致,正在成为一个主要问题。随着人工智能的快速发展及其在所有活动领域的大规模传播,这些安全风险可能会迅速增加,并代表国家和国际安全问题。