•美国军方在加速技术进步,日益复杂的运营环境以及复杂的全球挑战时期运作。国防部必须快速,严格地测试并评估其系统,以确保它们不仅有效,合适,而且在有争议的领域中也可以生存和致命。
在线测试系统提供田纳西州ELPA21和ALT ELPA测试,包括练习站点和操作测试站点。实践站点与操作测试站点的功能相同。但是,实践和操作站点中可用的测试不同。在实践测试管理站点中进行的测试是实践的,而操作测试管理站点中提供的测试是运营的,学生的分数将是正式的。
(U) PMA-231 未能有效管理在操作测试期间发现的缺陷,以实现 E-2D 先进鹰眼改进的性能。具体而言,PMA-231 未能解决或纠正在七次操作测试中发现的 213 个缺陷中的 141 个(约三分之二)。这是因为 PMA-231 没有跟踪未解决的操作测试缺陷或制定计划来纠正可能对任务产生影响的未解决的操作测试缺陷。因此,E-2D 先进鹰眼不具备所有必需的性能,这可能会阻碍海军完成任务。PMA-231 可能还需要花费更多资金来修改已部署的 E-2D 先进鹰眼并更新仍在生产的未来飞机。
图 1。整个采购生命周期中的 T&E。.............................................................................. 9 图 2。自适应采购框架。......................................................................................... 34 图 3。OT&E 和 LFT&E 与紧急能力采购路径决策保持一致。............................................................................................................................. 35 图 4。OT&E 和 LFT&E 与 MTA 路径决策保持一致。............................................. 36 图 5。OT&E 和 LFT&E 与 MCA 路径决策保持一致。...................................... 37 图 6。OT&E 和 LFT&E 与软件采购路径决策保持一致。............. 39 图 7。OT&E 和 LFT&E 与 DBS 采购路径决策保持一致。.................... 40 图 8。OT&E 和 LFT&E 与服务采购路径决策保持一致。.......... 41
士兵无线电波形 (SRW) 是一种联合战术无线电系统 (JTRS) 网络软件,旨在为小型作战部队和无人系统提供语音、数据和视频功能。SRW 是陆军低级战术网络的基石。预计有多达 25 万台无线电将运行 SRW,耗资数十亿美元。该系统最近的操作测试事件表明存在几个缺陷,包括与传统系统相比范围较差、功耗过大以及可能不具备操作可行性的高水平网络和频谱管理。这些问题并非 SRW 独有,而是困扰了过去十年正在开发的移动自组织网络 (MANET) 系统。在本报告中,我们首先讨论我们从操作测试中观察到的情况,这些观察结果为我们分析和模拟工作的重点提供了信息。然后,我们分析了陆军对 SRW 的使用与波形设计的原始概念之间的许多差异的技术影响。我们利用从网络集成演习 (NIE) 中得到的观察结果构建了模拟的代表性场景,并根据陆军的实施情况配置了 SRW 节点。最后,我们展示了 SRW 的建模和模拟结果,我们用这些结果来解释我们在操作测试中看到的症状的根本原因。
目标优先顺序 1.提高适用性。我仍然认为操作测试和评估应该确认性能,而不是揭示新的故障模式。2007 年,DOT&E 与包括行业在内的主要利益相关者合作,以加强故障模式发现过程并消除操作测试中的意外情况。我得出的结论是,关键问题是系统可靠性不足,而系统可靠性又是适用性的关键组成部分。导致可靠性问题的因素包括:可靠性要求定义不明确、开发人员对用户在部署时如何操作和维护系统缺乏了解、合同中缺乏可靠性激励以及系统开发期间对可靠性增长的跟踪不力。虽然我们在确定导致适用性差的系统性问题方面取得了进展,但项目绩效并未显示出改善。八个
E. 开发测试和操作测试。BT、DIFAR、LOFAR、DICASS、VLAD、DLC、EER 和 IEER 声纳浮标均已完成开发测试 (DT) 和操作测试 (OT)。ADAR 已完成系统有效性、ASW 平台和声纳浮标互操作性以及物流和性能规范合规性的 DT。ADAR DT-I 由马里兰州帕塔克森特河空中测试和评估中队一 (VX-1) 于 97 财政年度 (FY0) 成功完成。马里兰州帕塔克森特河海军航空作战中心飞机部 (NAWCAD) 从 98 财政年度第一季度到第四季度使用 S-3B 飞机(当时唯一能够进行测试的飞机)和声源与生产代表 ADAR 声纳浮标配合使用成功完成了 ADAR DT-II。 OT-II 由 VX-1 于 1998 年 10 月开始执行,并于 1998 年 12 月成功完成。
早期测试可能会遗漏在现实环境中进行操作测试时发现的重大操作相关问题。与前几年一样,在 2015 财年,OT&E 发现了在开发和之前的测试中遗漏的问题。在生产和部署之前发现并解决这些问题至关重要,因为唯一的其他选择是在战斗中发现它们,而这些问题会危及作战人员的生命。此外,在全速生产开始后识别和修复这些问题将是一种更昂贵的解决缺陷的方法,因为改造很少(如果有的话)比在全速生产之前修复问题更便宜。有关 OT&E 期间问题发现的更多详细信息在单独的部分(第 13 页)中提供。OT&E 还突出并揭示了以前已知的问题,因为许多项目不幸地选择在之前的测试中发现的具有操作重大但未解决的问题的情况下进入操作测试。
歧义 数据完整性 不完整 未签名 释放不适航的飞机 签名错误 故障诊断 无法隔离故障 功能测试不确定 检查不确定 操作测试不确定 系统处于不安全状态 加油连接问题 污染 燃料类型不正确 数量不正确 面板/访问不安全 泄漏
2021 年 1 月 28 日,马里兰大学情报与安全应用研究实验室 (ARLIS) 举办了一场研讨会,探讨人工智能 (AI) 操作测试的多领域挑战。研讨会的目的是汇集操作测试和评估领域的领先思想家,确定人工智能和自主性测试和评估中最关键的挑战,并探索潜在的解决方案。研讨会参与者认为,人工智能和自主系统开发面临的最大挑战是缺乏对“任务关键型系统的人为因素”的考虑。参与者反复将人类操作员称为“人机系统中最重要的资产”,意识到对某些人来说,人工智能的目标是取代人类的努力。研讨会小组成员强调,将人类从循环中移除会降低系统的效率。相反,参与者指出,在开发人工智能系统时,对人的考虑往往是事后才考虑的,或者更糟的是,被视为限制机器性能的一个因素。本文在这些讨论的基础上,进一步讨论了人工智能、自主和增强 (AAA) 1 技术和工具的操作测试,确定了两个关键挑战、九项建议以及一个需要进一步调查的突出差距。