Yoshua Bengio 正如《国际先进人工智能安全科学报告》所强调的那样,通用人工智能系统的能力在过去十年中一直在稳步提升,并在过去几年中显著加速。1 如果这些趋势持续下去,并且按照领先人工智能公司宣称的目标,我们很可能在广泛的认知技能领域实现人类水平的能力,即通常所说的通用人工智能 (AGI)。值得注意的是,我们已经在自然语言方面实现了人类水平的能力,即可以阅读和理解文本并流利地响应或生成新的文本、视觉、音频或视频内容的系统。虽然科学进步无法准确预测,但许多领先的研究人员现在估计 AGI 的时间可能短至几年或十年。这与过去十年的稳步发展相一致,这些发展是由算法进步和计算资源使用量的扩大以及全球人工智能研发投资呈指数级增长(高达数万亿美元)所推动的。2 虽然缺乏内部审议能力(即思考能力)一直被认为是当前人工智能的主要弱点之一,但最近基于一种具有内部审议能力的新型人工智能的进展表明,我们可能即将缩小与人类水平推理能力的差距。3、4 此外,前沿人工智能公司正在寻求开发具有特定技能的人工智能,这种技能很可能解锁所有其他技能并加速进步:具有推动人工智能研究能力的人工智能。一个人工智能系统如果在人工智能研究方面的能力与人工智能实验室中最顶尖的少数研究人员一样强,那么高级研究人员的数量将成倍增加。尽管训练人工智能需要数万个 GPU,但一旦训练完成,就可以在推理时并行部署,产生相当于数十万个自动化人工智能工作者。这样的扩展可以大大加速超人人工智能系统的发展。这一场景的实现可能导致从 AGI 到人工智能超级智能 (ASI) 的快速转变,据一些专家称,转变时间从几个月到几年不等。5 想象这样的可能性可能具有挑战性,我们无法保证它们会实现,因为未来人工智能发展的速度和方向在很大程度上取决于未来数月和数年的政治决策和科学进步。如果 ASI 出现,会有什么后果?6然而,考虑到专家们列出的某些情景的后果,我们现在需要认真考虑如何减轻这些后果。显然,潜在的好处是巨大的,可以通过医学、教育、农业、应对气候变化等方面的进步,实现显著的经济增长和社会福祉的极大改善。然而,这种高级智能也可能在全球范围内提供无与伦比的战略优势,并使平衡偏向少数人(公司、国家或个人),同时对许多其他人造成巨大伤害。在当前的地缘政治和企业背景下尤其如此,因为对这些技术的控制极其集中。
[1] Michael Ahn、Anthony Brohan、Noah Brown、Yevgen Chebotar、Omar Cortes、Byron David、Chelsea Finn、Keerthana Gopalakrishnan、Karol Hausman、Alex Herzog 等人。2022 年。尽我所能,不要照我说的做:为机器人可供性奠定语言基础。arXiv 预印本 arXiv:2204.01691 (2022)。[2] Chris Baker、Rebecca Saxe 和 Joshua Tenenbaum。2011 年。贝叶斯心智理论:建模联合信念-愿望归因。在认知科学学会年会论文集,第 33 卷。[3] Chris L Baker、Noah D Goodman 和 Joshua B Tenenbaum。2008 年。基于理论的社会目标推理。在认知科学学会第三十届年会论文集。 Citeseer,1447–1452。[4] Chris L Baker 和 Joshua B Tenenbaum。2014 年。使用贝叶斯心理理论对人类计划识别进行建模。计划、活动和意图识别:理论与实践 7 (2014),177–204。[5] Andreea Bobu、Marius Wiggert、Claire Tomlin 和 Anca D Dragan。2021 年。特征扩展奖励学习:重新思考人类输入。在 2021 年 ACM/IEEE 人机交互国际会议论文集上。216–224。[6] Andreea Bobu、Marius Wiggert、Claire Tomlin 和 Anca D Dragan。2022 年。通过学习特征在奖励学习中诱导结构。国际机器人研究杂志 (2022),02783649221078031。[7] Mustafa Mert Çelikok、Tomi Peltola、Pedram Daee 和 Samuel Kaski。2019 年。具有心智理论的交互式人工智能。arXiv 预印本 arXiv:1912.05284 (2019)。[8] Aakanksha Chowdhery、Sharan Narang、Jacob Devlin、Maarten Bosma、Gaurav Mishra、Adam Roberts、Paul Barham、Hyung Won Chung、Charles Sutton、Sebastian Gehrmann 等人。2022 年。Palm:使用路径扩展语言建模。arXiv 预印本 arXiv:2204.02311 (2022)。[9] Harmen De Weerd、Rineke Verbrugge 和 Bart Verheij。 2013. 了解她知道你知道的事情有多大帮助?一项基于代理的模拟研究。人工智能 199 (2013),67–92。[10] Jacob Devlin、Ming-Wei Chang、Kenton Lee 和 Kristina Toutanova。2018. Bert:用于语言理解的深度双向变压器的预训练。arXiv 预印本 arXiv:1810.04805 (2018)。[11] Prafulla Dhariwal 和 Alexander Nichol。2021. 扩散模型在图像合成方面击败了 gans。神经信息处理系统进展 34 (2021),8780–8794。[12] Prashant Doshi、Xia Qu、Adam Goodie 和 Diana Young。2010. 使用经验主义交互式 POMDP 对人类的递归推理进行建模。在第九届自主智能体和多智能体系统国际会议论文集:第 1 卷-第 1 卷。1223–1230。[13] 段佳飞、余志强、谭辉、朱宏远和陈志东。2022 年。具身人工智能调查:从模拟器到研究任务。IEEE 计算智能新兴主题汇刊 (2022 年)。[14] 段佳飞、余志强、谭辉、易立和陈志东。2022 年。BOSS:对象上下文场景中人类信念预测的基准。arXiv 预印本 arXiv:2206.10665 (2022 年)。[15] David Engel、Anita Woolley、Lisa Jing、Christopher Chabris 和 Thomas Malone。2014 年。从眼睛读懂心思还是从字里行间读懂心思?心智理论在线上和面对面时同样能预测集体智慧。PloS one 9 (12 2014),e115212。https://doi.org/10.1371/journal.pone.0115212 [16] Dylan Hadfield-Menell、Stuart J Russell、Pieter Abbeel 和 Anca Dragan。2016 年。合作逆强化学习。神经信息处理系统的进展 29 (2016)。[17] Yanlin Han 和 Piotr Gmytrasiewicz。2018 年。使用交互式 POMDP 在多智能体环境中学习他人的意向模型。神经信息处理系统的进展 31 (2018)。 [18] 何开明、张翔宇、任少卿和孙健。2016 年。深度残差学习在图像识别中的应用。IEEE 计算机视觉与模式识别会议论文集。770–778。[19] Jonathan Ho、Ajay Jain 和 Pieter Abbeel。2020 年。去噪扩散概率模型。神经信息处理系统进展 33(2020 年),6840–6851。[20] Kyriaki Kalimeri 和 Ingvar Tjostheim。2020 年。人工智能与对未来的担忧:挪威案例研究。在《分布式、环境和普适交互》中,Norbert Streitz 和 Shin'ichi Konomi(编辑)。Springer International Publishing,Cham,273–284。 [21] Max Kleiman-Weiner、Mark K Ho、Joseph L Austerweil、Michael L Littman 和 Joshua B Tenenbaum。2016 年。协调合作或竞争:社交互动中的抽象目标和共同意图。《认知科学》。[22] Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton。2015 年。深度学习。《自然》521,7553(2015 年),436–444。[23] Maria D. Molina 和 S. Shyam Sundar。0. 对人类的不信任是否预示着对人工智能的更大信任?个体差异在用户对内容审核反应中的作用。新媒体与社会 0, 0 (0), 14614448221103534。https://doi.org/10.1177/14614448221103534 arXiv:https://doi.org/10.1177/14614448221103534 [24] David Premack 和 Guy Woodruff。1978 年。黑猩猩有心理理论吗?行为与脑科学 1, 4 (1978),515–526。[25] David Premack 和 Guy Woodruff。1978 年。黑猩猩有心理理论吗?行为与脑科学 1, 4 (1978),515–526。 https://doi.org/10.1017/S0140525X00076512 [26] Neil Rabinowitz、Frank Perbet、Francis Song、Chiyuan Zhang、SM Ali Eslami 和 Matthew Botvinick。2018 年。机器心智理论。国际机器学习会议。PMLR,4218–4227。[27] Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen 和 Ilya Sutskever。2021 年。零样本文本到图像生成。国际机器学习会议。PMLR,8821–8831。org/10.1371/journal.pone.0115212 [16] Dylan Hadfield-Menell、Stuart J Russell、Pieter Abbeel 和 Anca Dragan。2016 年。合作式逆强化学习。神经信息处理系统进展 29(2016 年)。[17] Yanlin Han 和 Piotr Gmytrasiewicz。2018 年。使用交互式 POMDP 在多智能体环境中学习他人的意向模型。神经信息处理系统进展 31(2018 年)。[18] Kaiming He、Xiangyu Zhang、Shaoqing Ren 和 Jian Sun。2016 年。用于图像识别的深度残差学习。IEEE 计算机视觉与模式识别会议论文集。770–778。[19] Jonathan Ho、Ajay Jain 和 Pieter Abbeel。 2020. 去噪扩散概率模型。神经信息处理系统进展 33 (2020),6840–6851。[20] Kyriaki Kalimeri 和 Ingvar Tjostheim。2020. 人工智能与对未来的担忧:挪威案例研究。在分布式、环境和普适交互中,Norbert Streitz 和 Shin'ichi Konomi(编辑)。Springer International Publishing,Cham,273–284。[21] Max Kleiman-Weiner、Mark K Ho、Joseph L Austerweil、Michael L Littman 和 Joshua B Tenenbaum。2016. 协调合作或竞争:社交互动中的抽象目标和共同意图。在 CogSci 中。[22] Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton。2015. 深度学习。 nature 521, 7553 (2015), 436–444。[23] Maria D. Molina 和 S. Shyam Sundar。0. 对人类的不信任是否预示着对人工智能的信任度更高?个体差异在用户对内容审核的反应中的作用。新媒体与社会 0, 0 (0), 14614448221103534。https://doi.org/10.1177/14614448221103534 arXiv:https://doi.org/10.1177/14614448221103534 [24] David Premack 和 Guy Woodruff。1978 年。黑猩猩有心智理论吗?行为与脑科学 1, 4 (1978), 515–526。[25] David Premack 和 Guy Woodruff。 1978. 黑猩猩有心智理论吗?行为与脑科学 1, 4 (1978),515–526。https://doi.org/10.1017/S0140525X00076512 [26] Neil Rabinowitz、Frank Perbet、Francis Song、Chiyuan Zhang、SM Ali Eslami 和 Matthew Botvinick。2018. 机器心智理论。在国际机器学习会议上。PMLR,4218–4227。[27] Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen 和 Ilya Sutskever。2021. 零样本文本到图像生成。在国际机器学习会议上。PMLR,8821–8831。org/10.1371/journal.pone.0115212 [16] Dylan Hadfield-Menell、Stuart J Russell、Pieter Abbeel 和 Anca Dragan。2016 年。合作式逆强化学习。神经信息处理系统进展 29(2016 年)。[17] Yanlin Han 和 Piotr Gmytrasiewicz。2018 年。使用交互式 POMDP 在多智能体环境中学习他人的意向模型。神经信息处理系统进展 31(2018 年)。[18] Kaiming He、Xiangyu Zhang、Shaoqing Ren 和 Jian Sun。2016 年。用于图像识别的深度残差学习。IEEE 计算机视觉与模式识别会议论文集。770–778。[19] Jonathan Ho、Ajay Jain 和 Pieter Abbeel。 2020. 去噪扩散概率模型。神经信息处理系统进展 33 (2020),6840–6851。[20] Kyriaki Kalimeri 和 Ingvar Tjostheim。2020. 人工智能与对未来的担忧:挪威案例研究。在分布式、环境和普适交互中,Norbert Streitz 和 Shin'ichi Konomi(编辑)。Springer International Publishing,Cham,273–284。[21] Max Kleiman-Weiner、Mark K Ho、Joseph L Austerweil、Michael L Littman 和 Joshua B Tenenbaum。2016. 协调合作或竞争:社交互动中的抽象目标和共同意图。在 CogSci 中。[22] Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton。2015. 深度学习。 nature 521, 7553 (2015), 436–444。[23] Maria D. Molina 和 S. Shyam Sundar。0. 对人类的不信任是否预示着对人工智能的信任度更高?个体差异在用户对内容审核的反应中的作用。新媒体与社会 0, 0 (0), 14614448221103534。https://doi.org/10.1177/14614448221103534 arXiv:https://doi.org/10.1177/14614448221103534 [24] David Premack 和 Guy Woodruff。1978 年。黑猩猩有心智理论吗?行为与脑科学 1, 4 (1978), 515–526。[25] David Premack 和 Guy Woodruff。 1978. 黑猩猩有心智理论吗?行为与脑科学 1, 4 (1978),515–526。https://doi.org/10.1017/S0140525X00076512 [26] Neil Rabinowitz、Frank Perbet、Francis Song、Chiyuan Zhang、SM Ali Eslami 和 Matthew Botvinick。2018. 机器心智理论。在国际机器学习会议上。PMLR,4218–4227。[27] Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen 和 Ilya Sutskever。2021. 零样本文本到图像生成。在国际机器学习会议上。PMLR,8821–8831。在 IEEE 计算机视觉与模式识别会议论文集上。770–778。[19] Jonathan Ho、Ajay Jain 和 Pieter Abbeel。2020 年。去噪扩散概率模型。神经信息处理系统进展 33 (2020),6840–6851。[20] Kyriaki Kalimeri 和 Ingvar Tjostheim。2020 年。人工智能与对未来的担忧:挪威案例研究。在《分布式、环境和普适交互》中,Norbert Streitz 和 Shin'ichi Konomi(编辑)。Springer International Publishing,Cham,273–284。[21] Max Kleiman-Weiner、Mark K Ho、Joseph L Austerweil、Michael L Littman 和 Joshua B Tenenbaum。 2016. 协调合作或竞争:社会互动中的抽象目标和共同意图。在 CogSci 中。[22] Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton。2015. 深度学习。自然 521,7553(2015),436–444。[23] Maria D. Molina 和 S. Shyam Sundar。0. 对人类的不信任是否预示着对人工智能的更大信任?个体差异在用户对内容审核反应中的作用。新媒体与社会 0, 0 (0),14614448221103534。https://doi.org/10.1177/14614448221103534 arXiv:https://doi.org/10.1177/14614448221103534 [24] David Premack 和 Guy Woodruff。 1978. 黑猩猩有心智理论吗?行为与脑科学 1, 4 (1978), 515–526。[25] David Premack 和 Guy Woodruff。1978. 黑猩猩有心智理论吗?行为与脑科学 1, 4 (1978), 515–526。https://doi.org/10.1017/S0140525X00076512 [26] Neil Rabinowitz、Frank Perbet、Francis Song、Chiyuan Zhang、SM Ali Eslami 和 Matthew Botvinick。2018. 机器心智理论。国际机器学习会议。PMLR,4218–4227。 [27] Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen 和 Ilya Sutskever。2021 年。零样本文本转图像生成。国际机器学习会议。PMLR,8821–8831。在 IEEE 计算机视觉与模式识别会议论文集上。770–778。[19] Jonathan Ho、Ajay Jain 和 Pieter Abbeel。2020 年。去噪扩散概率模型。神经信息处理系统进展 33 (2020),6840–6851。[20] Kyriaki Kalimeri 和 Ingvar Tjostheim。2020 年。人工智能与对未来的担忧:挪威案例研究。在《分布式、环境和普适交互》中,Norbert Streitz 和 Shin'ichi Konomi(编辑)。Springer International Publishing,Cham,273–284。[21] Max Kleiman-Weiner、Mark K Ho、Joseph L Austerweil、Michael L Littman 和 Joshua B Tenenbaum。 2016. 协调合作或竞争:社会互动中的抽象目标和共同意图。在 CogSci 中。[22] Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton。2015. 深度学习。自然 521,7553(2015),436–444。[23] Maria D. Molina 和 S. Shyam Sundar。0. 对人类的不信任是否预示着对人工智能的更大信任?个体差异在用户对内容审核反应中的作用。新媒体与社会 0, 0 (0),14614448221103534。https://doi.org/10.1177/14614448221103534 arXiv:https://doi.org/10.1177/14614448221103534 [24] David Premack 和 Guy Woodruff。 1978. 黑猩猩有心智理论吗?行为与脑科学 1, 4 (1978), 515–526。[25] David Premack 和 Guy Woodruff。1978. 黑猩猩有心智理论吗?行为与脑科学 1, 4 (1978), 515–526。https://doi.org/10.1017/S0140525X00076512 [26] Neil Rabinowitz、Frank Perbet、Francis Song、Chiyuan Zhang、SM Ali Eslami 和 Matthew Botvinick。2018. 机器心智理论。国际机器学习会议。PMLR,4218–4227。 [27] Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen 和 Ilya Sutskever。2021 年。零样本文本转图像生成。国际机器学习会议。PMLR,8821–8831。//doi.org/10.1177/14614448221103534 arXiv:https://doi.org/10.1177/14614448221103534 [24] David Premack 和 Guy Woodruff。1978 年。黑猩猩有心理理论吗?行为与脑科学 1, 4 (1978),515–526。 [25] David Premack 和 Guy Woodruff。1978 年。黑猩猩有心理理论吗?行为与脑科学 1, 4 (1978),515–526。 https://doi.org/10.1017/S0140525X00076512 [26] Neil Rabinowitz、Frank Perbet、Francis Song、Chiyuan Zhang、SM Ali Eslami 和 Matthew Botvinick。2018 年。机器心智理论。国际机器学习会议。PMLR,4218–4227。[27] Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen 和 Ilya Sutskever。2021 年。零样本文本到图像生成。国际机器学习会议。PMLR,8821–8831。//doi.org/10.1177/14614448221103534 arXiv:https://doi.org/10.1177/14614448221103534 [24] David Premack 和 Guy Woodruff。1978 年。黑猩猩有心理理论吗?行为与脑科学 1, 4 (1978),515–526。 [25] David Premack 和 Guy Woodruff。1978 年。黑猩猩有心理理论吗?行为与脑科学 1, 4 (1978),515–526。 https://doi.org/10.1017/S0140525X00076512 [26] Neil Rabinowitz、Frank Perbet、Francis Song、Chiyuan Zhang、SM Ali Eslami 和 Matthew Botvinick。2018 年。机器心智理论。国际机器学习会议。PMLR,4218–4227。[27] Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen 和 Ilya Sutskever。2021 年。零样本文本到图像生成。国际机器学习会议。PMLR,8821–8831。