XiaoMi-AI文件搜索系统
World File Search System高后
高后果 AI 风险管理的可行指南：迈向解决 AI 灾难性风险的标准
1 对于本文档的大部分内容，许可均符合 CC BY 4.0 许可证 ( https://creativecommons.org/licenses/by/4.0/ )。有关本文档第 3.2.2.1 节、3.4.2.1 节和附录 1 部分内容的合理使用许可，这些部分内容包括或改编自 NIST 出版物（例如 SP 800-30）的段落，请参阅 NIST 许可证的合理使用条款，网址为 https://www.nist.gov/open/license 。（在第 3.2.2.1 和 3.4.2.1 节中，我们从 NIST SP 800-30 的表 H-2 中引用了“关键基础设施部门受损或丧失能力”一词，并从 NISTIR 8062 中引用了“对民主制度和生活质量的影响”一词。本文件第 3.2.2.1.2 节中的影响评级类别与 NIST SP 800-30 的表 H-3 非常接近，只是我们使用“国家或整个社会”而不是“国家”，并且我们添加了一个副标题“可能导致社会严重或灾难性后果的因素包括”以及该副标题下的相关材料。）有关第 3.3 节中包含联合国出版物摘录的部分的权限，请参阅 https://shop.un.org/rights-permissions 。
白皮书 - 经过验证的提高后台办公室效率的实践
Ohlendorf 补充道：“当一名长期员工（比如负责贷款业务 25 年的员工）离职时，很难找到替代者迅速上手。但是，如果系统数据可访问且流程清晰，则可以更快地将新员工安排到岗位上，避免出现‘帕蒂这样做，多萝西那样做’的培训不一致的情况。这可以加快入职速度并提高效率。”这种效率提升还有助于管理容量。Ohlendorf 指出：“通过自动化，一名团队成员可以做更多的事情。如果你意外地需要增加固定成本（比如说 6.5 万美元加上新员工的福利），那就麻烦了。如果技术可以延缓招聘更多员工的需求，那么计算起来就很简单了。”PCB 对此有亲身体验。“我们最初使用 Tesla 来操作和分析数据，速度比我们的核心系统允许的速度要快。现在，Teslar 是我们贷款业务的骨干——处理异常、承保和渠道管理。我不再需要担心有人外出或离开，因为系统会帮我处理一切，”Loving 补充道。手动任务 60%
论文摘要：在 AI 模型评估中优先考虑高后果生物能力 1
人工智能 (AI) 技术可能会彻底改变医疗保健的组织和提供方式、药物和疫苗的开发方式、疾病的诊断方式以及发现新疫情的速度。使用人工智能进行的绝大多数生物和生命科学研究都可以以对社会风险最小甚至没有风险的方式进行。然而，预计在不久的将来会出现一些新的人工智能模型，这可能会增加因事故或滥用生物技术和生命科学而导致严重后果的风险。随着模型能力的提高，预计设计和操纵现有大流行病原体以及可能创造新病原体的能力将相应提高。研究人员还将能够将快速改进的人工智能模型与湿实验室的进步相结合，以促进、加速和增强这项工作。人工智能研究人员和政策制定者尚未就人工智能模型的哪些功能或用途最能增加公众的重大生物安全风险或哪些形式的风险最值得缓解达成广泛共识。在没有具体政府指导的情况下，一些大型语言模型 (LLM) 开发人员已经使用红队来评估其模型的生物安全风险，但其内容和方法各不相同。评估内容没有统一的框架，对于特定能力水平的关注程度也没有共同的理解。因此，迄今为止发表的有限的 AI 模型生物安全研究（仅评估了 LLM）测试了不同的风险，并使用了不同的假设来防范哪些威胁。这反过来又降低了缓解措施的潜在影响。由于无法评估 AI 模型是否会导致任何可能的与生物学相关的事故或不当行为，因此需要进行一定程度的优先排序。例如，仅仅询问一个模型是否会增加“生物武器计划”的风险是一个不充分的评估问题——它含糊不清、包容性不足，并且很难扩展到 LLM 之外。生物安全评估的最终目的应该是确定一个模型是否会显著增加对公众造成严重后果风险的可能性，无论人类的意图如何。解决方案
优先考虑具有高后果的生物能力...
摘要 由于人工智能 (AI) 能力的快速发展，过去一年中，多个国家政府和跨国机构宣布了解决与 AI 模型相关的安全、保障和道德问题的努力。这些努力之一就是减轻对 AI 模型的滥用，例如用于开发化学、生物、核或放射 (CBRN) 威胁。几十年来，许多生物学家一直在努力降低科学研究的风险，因为这些研究可能由于事故或滥用而导致严重疾病爆发。科学家们仔细考虑了哪些类型的生命科学研究既有益处又有风险 (双重用途)，特别是随着科学进步加速了我们改造生物体和创造新型病原体变种的能力。在这里，我们描述了科学家和政策专业人员在生命科学领域双重用途能力方面的先前经验和研究如何为具有生物能力的 AI 模型的风险评估提供信息。我们认为，人工智能模型评估应优先解决后果严重的风险（可能对公众造成大规模伤害的风险，例如流行病），并且应在部署模型之前评估这些风险，以便采取潜在的生物安全和/或生物安全措施。虽然生物研究总体上非常有益，但人们普遍认识到，一些生物研究信息和技术可能会被有意或无意地滥用，对公众造成大规模伤害。人工智能支持的生命科学研究也不例外。因此，科学家在识别和减轻双重用途生物风险方面的历史经验可以帮助为评估生物人工智能模型的新方法提供参考。确定哪些人工智能能力对生物安全和生物安全构成最大的担忧是必要的，以便建立有针对性的人工智能安全评估方法，确保这些工具免受事故和滥用，并避免妨碍巨大的潜在利益。