他们正在迅速部署更多资源并开发新技术来提高人工智能能力。人工智能的进步也促进了更快的进步：人工智能助手越来越多地用于自动编程 4 和数据收集 5,6 以进一步改进人工智能系统 7 。人工智能进步在人类层面上放缓或停止并没有根本原因。事实上，人工智能已经在蛋白质折叠或策略游戏等狭窄领域超越了人类的能力 8-10 。与人类相比，人工智能系统可以行动更快，吸收更多知识，并以更高的带宽进行通信。此外，它们可以扩展以使用巨大的计算资源，并且可以复制数百万次。改进的速度已经令人震惊，科技公司拥有将最新的训练运行扩大 100 到 1000 倍所需的现金储备 11 。再加上人工智能研发的持续增长和自动化，我们必须认真对待通用人工智能系统将在本十年或下个十年在许多关键领域超越人类能力的可能性。然后会发生什么？如果管理得当、分配公平，先进的人工智能系统可以帮助人类治愈疾病、提高生活水平，保护生态系统。人工智能提供的机遇是巨大的。但先进的人工智能能力也伴随着大规模风险，而我们还没有走上妥善处理的轨道。人类投入了大量的资源来使人工智能系统更加强大，但在安全和减轻危害方面投入的却少得多。要让人工智能成为一种福音，我们必须重新定位；单靠提升人工智能能力是不够的。我们已经落后于这一重新定位的计划。我们必须预测正在发生的危害和新风险的加剧，并在最大的风险成为现实之前做好准备。气候变化已经花了几十年的时间才被承认和应对；对于人工智能来说，几十年可能太长了。