测试中心经理负责管理 DIANA 附属测试中心网络的日常运营,并代表整个测试网络的国防和军事优先事项。通过直接参与将 DIANA 创新者与测试机会联系起来,并支持测试、评估、验证和确认 (TEVV) 拨款委员会。测试中心经理通过 TEVV 负责确保将资源分配给创建强大、可靠且随时可部署的技术,同时促进创新并保持对监管标准的遵守。测试中心经理还将作为现有和未来潜在测试中心的第一个联系点,开发网络。测试中心经理将成为 DIANA 创新者中的社区建设者,
7 最终报告,国家安全委员会。通讯人工智能 1,24(2021 年 3 月1),https://assets.foleon.com/eu-west-2/uploads-7e3kk3/48187/nscai_full_ report_digital.04d6b124173c.pdf;另请参阅 Michèle A. Flournoy 等人,通过测试建立信任:调整国防部的测试和评估、验证和验证 (TEVV) 企业以用于机器学习系统,包括深度学习系统,中心。安全委员会。和新兴技术。1, 4 (2020 年 10 月),https:// cset.georgetown.edu/wp-content/uploads/Building-Trust-Through-Testing.pdf(“如果没有紧急改革和优先投资。..国防部。..将失去利用新的私营部门发展的机会,同时允许其他没有此类标准的国家采用最新的创新”)。8 全球趋势 2040,上文注 5,第 58-9 页。
第 1 节 简称;目录:本法案可称为“2024 年人工智能未来创新法案”。第 2 节 国会意见:国会认为,管理人工智能的政策应最大限度地发挥人工智能的潜力并促进其发展,使所有公共和私人利益相关者受益。第 3 节 定义:提供关键定义,包括“人工智能蓝队”、“人工智能模型”、“人工智能红队”、“基础模型”、“生成人工智能”、“合成内容”、“测试平台”、“TEVV”和“水印”。标题 I:自愿人工智能标准、指标、评估工具、测试平台和国际合作副标题 A – 人工智能安全研究所和测试平台第 101 节 人工智能安全研究所:
第 1 节 简称;目录:本法案可称为“2024 年人工智能未来创新法案”。第 2 节 国会意见:国会认为,管理人工智能的政策应最大限度地发挥人工智能的潜力并促进其发展,使所有公共和私人利益相关者受益。第 3 节 定义:提供关键定义,包括“人工智能蓝队”、“人工智能模型”、“人工智能红队”、“基础模型”、“生成人工智能”、“合成内容”、“测试平台”、“TEVV”和“水印”。标题 I:自愿人工智能标准、指标、评估工具、测试平台和国际合作副标题 A – 人工智能安全研究所和测试平台第 101 节 人工智能安全研究所:
摘要 管理人工智能系统中的偏见对于建立和维持对其运行的信任至关重要。尽管人工智能系统中的偏见非常重要,但它在许多应用领域仍然普遍存在,无论意图如何,都可能导致有害影响。偏见也与环境有关。为了解决这个复杂的问题,我们采用社会技术方法在环境中测试、评估、验证和确认 (TEVV) 人工智能系统。这种方法将技术与社会价值观联系起来,以制定在行业部门部署基于人工智能/机器学习的决策应用程序的推荐指南。该项目还将研究偏见与网络安全之间的相互作用。该项目将利用现有的商业和开源技术以及 NIST Dioptra,这是一个用于机器学习数据集和模型的实验测试平台。该项目的初始阶段将专注于金融服务部门信贷承保决策的概念验证实施。该项目将产生一份免费的 NIST 人工智能/机器学习实践指南。
本《人工智能 (AI) 开发严格程度 (LOR)》技术出版物是应马里兰州印第安黑德海军军械安全与安保活动 (NOSSA) 的要求编写的,由国防部长办公室 (OSD) 的一份合同资助,以支持海军空战中心武器部 (NAWCWD) D51 系统工程部。该项目获得了 1.5 年的资助,涵盖 2021 和 2022 财年,目的是支持 NOSSA 为武器系统中使用的任何 AI 技术制定指导方针和政策。在此期间,该内容的各个部分已在基于 AI 的政府和商业研讨会和讲习班上进行了介绍,从而促进了内容的发展。此外,在这项工作的后 6 个月中,国防部 (DoD) 数据科学社区(包括学术和承包支持小组)提供了详细的评论/反馈。因此,本文档中包含的建议支持了联合人工智能系统安全工作组 (SSWG) 和人工智能安全工作组测试和评估、验证和确认 (TEVV) 小组制定其指南和政策。
这项工作介绍了可信和安全的人工智能系统 (TAIS) 的生命周期。我们考虑在 TAI 生命周期中应用风险管理框架 (RMF),以及这如何影响在 AI 系统开发的各个阶段所做的选择。AI 系统的新兴要求超越了传统的软件工程 (SE) 开发周期的设计、开发和部署 (DDD),其中测试、评估、验证和确认 (TEVV) 起着至关重要的作用。特别是,SE 中的额外挑战是 AI 系统通常是:(i) 数据驱动的,(ii) 可以学习和 (iii) 具有自适应性。此外,考虑 AI 系统对用户和更广泛社会的影响对于其可信和安全的部署至关重要。为了实现 TAIS,我们还考虑了测量方面,这体现在可量化指标的规范中,这些指标既能捕捉 TAI 的技术原则,又能捕捉社会技术原则,使我们能够评估 AI 系统的可信度。TAI 生命周期是一个迭代和连续的过程,因此正在开发的 AI 系统正在不断发展,并且可以采取纠正措施来处理生命周期任何阶段出现的问题。