详细内容或原文请订阅后点击阅览
避免悬崖
通用人工智能开发中的竞争避免 Olga Afanasjeva、Jan Feyereisl、Marek Havrda、Martin Holec、Seán Ó hÉigeartaigh、Martin Poliak 摘要◦ 通用人工智能系统研究正在取得令人鼓舞的进展。这一进展可能会导致 AGI 出现明显的赢家通吃竞赛。◦ 有人担心，这样的竞赛可能会促使人们在安全方面偷工减料，并违背关键参与者之间既定的协议。◦ AI 路线图研究所举行了一次研讨会，开始跨学科讨论如何避免这种危险竞赛可能发生的情况。◦ 重点是确定问题范围、定义相关参与者，并通过示例路线图可视化 AI 竞赛的可能场景。◦ 研讨会是为通用 AI 挑战赛的 AI 竞赛避免回合做准备的第一步，该回合旨在通过公民科学解决这一难题，并在小型 AI 安全社区的边界之外促进 AI 安全研究。确定问题范围随着人工智能 (AI) 进入我们生活的大多数领域，各个层面的风险越来越高。对开发机器智能应用程序的公司的投资正达到天文数字。尽管大多数现有 AI 技术的关注点相当狭窄，但激烈的竞争是真实存在的，它直接影响研究人员在研究机构和私营企业之间的分布。随着 g
来源:AI Roadmap Institute 博客在研讨会期间，提出了许多重要问题。例如，需要区分可以创建路线图的不同时间尺度，以及不同的观点（好/坏场景、不同参与者的观点等）。
时间尺度问题
路线图通常是一项主观努力，因此存在多种构建路线图的方法。研讨会期间遇到的第一个问题是关于时间差异。考虑到近期里程碑而创建的路线图将与长期路线图有很大不同，尽管这两条时间表是相互依赖的。与其对短期/长期路线图采取明确的看法，不如从概率上考虑这些可能会更有益处。例如，如果在未来 15 年内开发通用人工智能的可能性为 25%，并且在 15-400 年内实现这一目标的可能性为 75%，那么可以构建什么样的路线图？
在不同的时间尺度上考虑人工智能竞赛可能会带来不同的方面，需要重点关注。例如，每个参与者可能预期达到第一个通用人工智能系统的速度不同。这可能会对路线图的创建产生重大影响，需要以有意义和稳健的方式纳入其中。例如，狼来了的男孩的情况可能会降低参与者之间建立的信任，削弱开发人员、安全研究人员和投资者之间的联系。这反过来可能会导致在适当的时候开发第一个通用人工智能系统的信念下降。例如，对快速 AGI 到来的低信念可能会导致错误估计流氓参与者部署不安全 AGI 的风险。
狼来了的男孩 狼来了的男孩 图 1 图 2观点问题
合作问题
在这方面需要进一步研究的一个领域是看似直观但可能会降低人工智能开发安全性的合作形式 [1]。
1 6 6 ] 7