1。该文档是由NCCS编写的,是创建用于各种网络产品安全测试案例的参考方法。此处提供的测试用例本质上是通用的,并且已作为IP路由器安全测试的示例准备。该文档可以由TSTL自定义,以创建其他网络产品的测试用例。制定结论性测试计划的责任与TSTL有关。2。该文档包含条款明智的测试目标和通用测试用例,以理解目的。但是,根据DUT功能,实际的测试案例和前提条件可能会有所不同,测试计划将相应地创建。此外,根据DUT功能,TSTL可能会添加其他测试案例,以进行DUT的结论测试。3。在提交测试计划时,TSTL还需要包括该命令,该命令应用于测试该条款。4。可能会注意到,NCCS先前发送给TSTL的TSTP格式应保持不变。必须相应地以规定格式的相关细节。5。在提交测试报告时,将包括与相关子句测试有关的相关清晰屏幕截图/证据
根据其章程,AGARD 的使命是将北约国家在航空航天科学技术领域的领军人物聚集在一起,以实现以下目的: - 为成员国推荐有效的方式,以便利用其研究和开发能力为北约社区的共同利益服务; - 向军事委员会提供航空航天研究和开发领域(特别是在军事应用方面)的科学和技术建议和援助; - 不断促进与加强共同防御态势有关的航空航天科学进步; - 加强成员国在航空航天研究和开发方面的合作; - 交流科学和技术信息; - 向成员国提供援助,以提高其科学和技术潜力; - 应要求向其他北约国家提供科学和技术援助
该项目在范围、预算和时间方面均符合预期,详见本报告。开发了许多测试用例,用于架构和算法(中间件和优化)的开发和测试:来自电气和电子工程师协会测试用例的配电和传输级数据作为机会混合通信系统和光伏/分布式状态估计任务的输入,这需要对 SunShot 赞助的综合电网建模系统项目进行大量测试和修改;对于光伏状态估计任务,住宅光伏板由模拟的、经过测量校准的时空太阳数据驱动,这些数据来自太阳能集成国家数据集和夏威夷的测量数据。在参考测试用例 A (RTC-A) 的基础上,成功开发了一套基于 NS-3 模拟器的机会混合通信系统仿真模型,用于架构和算法(中间件和优化)的验证和评估:六个代表已开发的机会和混合通信系统的 RTC-A 仿真模型得到了智能解决。这些需要大量的开发和验证参数和功能,对于开发任务来说,还需要应对多种替代通信技术、IPv6 到 IPv4 隧道技术和可扩展性问题的挑战。
10. 渗透测试目录 11. 异常检测 12. 自动测试用例生成 13. 网络扫描工具 14. 产品生命周期数据管理中的身份、安全性和安全
本文介绍了在飞行控制系统 (FCS) 软件测试过程中获得的经验。在 LCA-FCS 项目中,测试在各个级别进行,如软件测试、在 minibird 环境中的系统集成测试、在 ironbird 环境中的 FCS 验证、在地面和最终在空中进行的飞机测试。根据不同级别测试的反馈,由于不同参数值的变化,需求可能会发生一些变化。有必要将设计中的变化纳入并在尽可能短的时间内进行测试。用于进行测试的工具和技术在实现这一目标中起着重要作用。测试用例生成器本身将有助于快速修改测试用例。希望为此目的开发的特殊工具将在未来的 LCA-FCS 工作中发挥作用。
2021 年 5 月 12 日,行政命令 (EO) 14028《改善国家网络安全》指示美国国家标准与技术研究所 (NIST) 在 60 天内推荐软件测试的最低标准。本文档介绍了 11 条软件验证技术建议,并提供了有关这些技术的补充信息和更多信息的参考资料。它建议采用以下技术: • 威胁建模以寻找设计级安全问题 • 自动测试以确保一致性并最大限度地减少人力 • 静态代码扫描以寻找主要错误 • 启发式工具以寻找可能的硬编码秘密 • 使用内置检查和保护 • “黑盒”测试用例 • 基于代码的结构测试用例 • 历史测试用例 • 模糊测试 • Web 应用程序扫描程序(如果适用) • 解决包含的代码(库、包、服务) 该文件并不涉及软件验证的全部内容,而是推荐广泛适用并形成最低标准的技术。该文件由 NIST 与国家安全局 (NSA) 协商制定。此外,我们还通过提交给 2021 年 6 月初举行的 NIST 行政命令研讨会的论文、研讨会上的讨论以及对几位提交者的跟进,从众多外部组织获得了意见。
在提高效率和安全性方面发挥了关键作用,甚至取代了人类。然而,实施错误和设计缺陷可能会导致灾难性的后果。联邦航空管理局要求在A级(最安全关键系统)上进行修改条件/决策覆盖(MC/DC),事实证明,它能有效地检测软件错误。然而,生成测试以实现高MC/DC可能非常昂贵且耗时。最近,许多研究表明,组合测试(CT)可以以经济高效的方式生成高质量的测试用例。CT能否生成测试用例以实现高MC/DC?在本文中,我们对两个实际程序进行了实证研究,以评估使用组合测试提高MC/DC覆盖率的效率和有效性,以及故障检测强度。
摘要 — 测试自动化在软件开发中很常见;通常需要反复测试以识别回归。如果测试用例数量很大,则可以选择一个子集并仅使用最重要的测试用例。回归测试选择(RTS)可以实现自动化,并通过人工智能(AI-RTS)进行增强。然而,这可能会带来道德挑战。虽然人工智能中的此类挑战通常已得到充分研究,但在道德 AI-RTS 方面仍存在差距。通过探索文献并借鉴我们开发行业 AI-RTS 工具的经验,我们通过确定三个挑战(分配责任、决策偏见和缺乏参与)和三种方法(可解释性、监督和多样性)为文献做出了贡献。此外,我们还提供了一份道德 AI-RTS 清单,以帮助指导参与该过程的利益相关者的决策。
基于抽象模拟的测试是确保自动驾驶软件可靠性的重要步骤。实际上,当公司依靠第三方通用类似物(无论是内部还是外包测试)时,测试结果对真正的自动驾驶汽车的普遍性受到威胁。在本文中,我们通过引入数字兄弟姐妹的概念来增强基于仿真的测试,这是一种多用模拟器方法,该方法在多个具有不同技术的通用模拟器上测试给定的自动驾驶汽车,该工具在测试过程中作为合奏集体运作。我们在一个案例研究中的方法举例说明了我们的方法,该案例研究着重于测试自动驾驶汽车的车道保存组件。我们将两个开源模拟器用作数字兄弟姐妹,我们从经验上将这种多模拟器方法与在大量测试用例上的物理缩放自动驾驶汽车的数字双胞胎进行了比较。我们的方法需要以道路点序列的形式为每个单独的模拟器生成和运行测试用例。然后,使用特征图在模拟器之间迁移测试用例,以表征锻炼的驾驶条件。最后,联合预测的失败概率是计算的,并且仅在兄弟姐妹之间达成一致的情况下才报告失败。我们的经验评估表明,数字兄弟姐妹的集合故障预测因子优于每个单独的模拟器,可以预测数字双胞胎的故障。我们讨论了案例研究的发现,并详细介绍了我们的方法如何帮助对自动驾驶软件自动测试感兴趣的研究人员。
基于抽象模拟的测试是确保自动驾驶软件可靠性的重要步骤。实际上,当公司依靠第三方通用模拟器(无论是内部还是外包测试)时,测试结果对真正的自动驾驶汽车的概括性就受到威胁。在本文中,我们通过引入数字兄弟姐妹的概念来增强基于仿真的测试,这是一种多用模拟器方法,该方法在多个具有不同技术的通用模拟器上测试给定的自动驾驶汽车,该工具在测试过程中作为合奏集体运作。我们在一个案例研究中的方法举例说明了我们的方法,该案例研究着重于测试自动驾驶汽车的车道保存组件。我们使用两个开源模拟器作为数字兄弟姐妹,我们从经验上比较了这种多模拟器方法与在大型测试用例上的物理缩放自动驾驶汽车的数字双胞胎进行比较。我们的方法需要以道路点序列的形式为每个单独的模拟器生成和运行测试用例。然后,使用特征图在模拟器之间迁移测试用例,以表征锻炼的驾驶条件。最后,联合预测的失败概率是计算的,并且仅在兄弟姐妹之间达成一致的情况下才报告失败。我们的经验评估表明,数字兄弟姐妹的集合故障预测因子优于每个单独的模拟器,可以预测数字双胞胎的故障。我们讨论了案例研究的发现,并详细介绍了我们的方法如何帮助对自动驾驶软件自动测试感兴趣的研究人员。