人工智能 (AI) 的快速发展引发了专家、政策制定者和世界领导人对日益先进的人工智能系统可能带来灾难性风险的担忧。尽管已经分别详述了许多风险,但迫切需要系统地讨论和说明潜在危险,以便更好地指导减轻这些风险的努力。本文概述了灾难性人工智能风险的主要来源,我们将其分为四类:恶意使用,即个人或团体故意使用人工智能造成伤害;人工智能竞赛,即竞争环境迫使参与者部署不安全的人工智能或将控制权交给人工智能;组织风险,强调人为因素和复杂系统如何增加灾难性事故发生的可能性;流氓人工智能,描述了控制比人类聪明得多的代理的固有难度。对于每一类风险,我们都会描述具体的危害,提供说明性故事,设想理想情景,并提出减轻这些危险的实用建议。我们的目标是促进对这些风险的全面了解,并激发集体和主动的努力,以确保以安全的方式开发和部署人工智能。最终,我们希望这将使我们能够实现这项强大技术的好处,同时最大限度地降低发生灾难性后果的可能性。1
人工智能 (AI) 的快速发展引发了专家、政策制定者和世界领导人对日益先进的人工智能系统可能带来灾难性风险的担忧。尽管已经分别详述了许多风险,但迫切需要系统地讨论和说明潜在危险,以便更好地指导减轻这些风险的努力。本文概述了灾难性人工智能风险的主要来源,我们将其分为四类:恶意使用,即个人或团体故意使用人工智能造成伤害;人工智能竞赛,即竞争环境迫使参与者部署不安全的人工智能或将控制权交给人工智能;组织风险,强调人为因素和复杂系统如何增加灾难性事故发生的可能性;流氓人工智能,描述了控制比人类聪明得多的代理的固有难度。对于每一类风险,我们都会描述具体的危害,提供说明性故事,设想理想情景,并提出减轻这些危险的实用建议。我们的目标是促进对这些风险的全面了解,并激发集体和主动的努力,以确保以安全的方式开发和部署人工智能。最终,我们希望这将使我们能够实现这项强大技术的好处,同时最大限度地降低发生灾难性后果的可能性。1
核战争 1945 年 8 月 6 日,一颗核弹在广岛爆炸,当天就造成约 70,000 人死亡。总体而言,该市近一半的居民因原子弹的影响而丧生,一半因爆炸后的高温、辐射、火灾和建筑物倒塌而丧生,另有一半在年底前因伤病和辐射而丧生,因此死亡总人数达到约 150,000 人 1 。从那时起,世界就一直生活在一场史无前例的战争的阴影之下。虽然冷战结束以来,核国家之间的紧张关系已经缓和,裁军努力也减少了军火库,但爆发核战争的可能性仍然存在,而且今天可能比十年前更接近核战争 2 。其直接影响将是生命和城市的灾难性破坏,以及因辐射导致的衰弱、疾病和死亡,但另一个令人担忧的问题是,核爆炸释放出的尘埃可能使地球陷入小冰河期 3 ,带来严重的生态后果、严重的农业崩溃,以及世界人口的很大一部分死于饥荒 4
[来源:图片来自https://www2.gov.bc.ca/assets/gov/public-safety-and-emergency-services/emergency-pre- paredness-response-recovery/local-government/hrva/guides/companion_guide_to_the_hrva.pdf]
还应该对最近的两篇研究感兴趣,它们采用了“以计算为中心的框架”来估计人工智能系统需要多长时间才能达到人类水平的能力(Cotra,2020;Davidson,2023)。这种方法首先估计训练具有给定能力水平的系统需要多少计算能力,然后构建一个模型,说明我们何时可能使用这么多计算能力来训练系统。我们认为有用的一种思考以计算为中心的模型的方法是更详细地阐明优化能力和顽固性之间的关系在未来可能如何发展。
Q1. 灾难性计划目前是否包括 COVID-19 诊断和治疗的承保?A1. 是的。灾难性计划必须根据《患者保护与平价医疗法案》(PPACA)第 1302(b) 节的要求承保基本医疗福利 (EHB),但要受到某些限制。但是,具体承保细节和各项服务的分摊金额可能因计划而异,并且某些计划可能需要事先授权才能承保这些服务。EHB 通常包括 COVID-19 诊断和治疗的承保。有关 EHB 承保 COVID-19 的一般信息,请参阅基本医疗福利承保和冠状病毒 (COVID-19) 常见问题解答。1 虽然灾难性计划必须承保 EHB,但它们也受到 PPACA 第 1302(e) 节的某些限制,这些限制涉及灾难性计划对 EHB 的承保,包括相关的分摊费用要求。在投保人达到该适用计划年度的灾难性计划免赔额之前,灾难性计划不得提供 EHB 保险,但以下情况除外:(1) 灾难性计划在达到免赔额之前必须每年提供至少三次初级保健就诊保险,以及 (2) 根据《公共卫生服务法》(PHS 法)第 2713 条,灾难性计划不得对预防服务施加任何费用分摊要求(例如共同支付、共同保险或免赔额)。问 2。鉴于 COVID-19 造成的公共卫生紧急情况,HHS 是否会允许灾难性计划的发行人在投保人达到计划免赔额之前为 COVID-19 的诊断和治疗提供保险?答 2。是的。为促进国家应对 COVID-19,在另行通知之前,美国卫生与公众服务部 (HHS) 不会对任何修改灾难性计划以提供与 COVID-19 诊断和/或治疗相关服务的预扣款保险的健康保险发行人采取执法行动。2 HHS 鼓励各州采取类似的执法方式,并且如果某个州采取这种方式,我们不会认为该州未能实质性地执行 PPACA 第 1302(e) 条。
特朗普的“钻探宝贝钻探”气候和能源“政策”对国家、对代际公平和平等都是一场灾难,并将影响全球缓解气候变化的努力。他很可能会像上任总统一样破坏《巴黎协定》,减少对可再生能源的支持,关闭监测排放的国家海洋和大气管理局,取消环境保护和化石燃料行业监管,放任大型煤炭、石油和天然气企业,并可能破坏拜登总统具有里程碑意义的绿色新政《通胀削减法案》的关键部分,以及他史无前例的 1 万亿美元经济脱碳投资,包括清洁技术行业发展和消费者清洁能源资源激励措施。
摘要 2024 年 11 月 7 日,CPUC 发布了两项提案以解决诉讼 A.21-09-008,即太平洋煤气电力公司 (PG&E) 的申请,要求报销 2020 年增量植被管理成本 5.92 亿美元。2024 年 12 月 12 日和 2024 年 12 月 17 日,两个提案的修订版分别发布,即行政法官的拟议决定和负责此诉讼的专员 Alice Reynolds 总裁的替代拟议决定。两项提案都批准了部分费率追偿成本,并拒绝了 PG&E 请求的其他部分,认定 PG&E 未能证明其 2020 年植被管理工作相关的某些成本是合理的。2024 年 12 月 19 日,CPUC 批准了替代拟议决定,其中包括以下内容:
首先,上述论点设想的人工智能系统至少具有人类水平的认知能力,但其行为方式让我们觉得反复无常且在道德上格格不入,追求无限的权力以实现任意目标。这令人惊讶。也许这也是难以置信的。随着人工智能系统发展出与我们类似的认知能力,它们的动机也可能会趋同于类似我们的东西(参见 Müller 和 Cannon 2021)。灾难性的权力追求可能会很少见。与这种思路相反,正交论认为,任意高水平的智力可以与或多或少任何最终目标相结合(Bostrom 2012)。如果这是真的,那么一个系统就可以超级智能,而无需受到有利于人类繁荣的关注的驱动。我们将在第 3 节中进一步讨论这些问题。