机构名称：
¥ 1.0
摘要本文展示了将自主网络防御应用于工业控制系统上的潜力，并提供了一个基线环境，以进一步探索多代理强化学习（MARL）对此问题领域的应用。它引入了通用集成平台管理系统（IPMS）的模拟环境，IPMSRL，并探讨了MARL对基于通用海事的IPMS Operational Technology（OT）的自动网络防御决策的使用。网络防御行动不如企业对IT的成熟。 这是由于OT基础架构的相对“脆性”性质源于使用传统系统，设计时间工程假设以及缺乏全面的现代安全控制。 ，由于不断增加网络攻击的复杂性以及传统以IT中心的网络防御解决方案的局限性，在网络景观中有许多障碍。 传统的IT控件很少在OT基础架构上部署，并且在它们的位置，某些威胁尚未完全解决。 在我们的实验中，多代理近端策略优化（MAPPO）的共享评论家实施优于独立近端策略优化（IPPO）。 Mappo达到了800K时间段之后的最佳政策（情节结果平均值），而IPPO只能达到一百万个时间段的情节结果平均值为0.966。 超参数调整大大改善了训练性能。网络防御行动不如企业对IT的成熟。这是由于OT基础架构的相对“脆性”性质源于使用传统系统，设计时间工程假设以及缺乏全面的现代安全控制。，由于不断增加网络攻击的复杂性以及传统以IT中心的网络防御解决方案的局限性，在网络景观中有许多障碍。传统的IT控件很少在OT基础架构上部署，并且在它们的位置，某些威胁尚未完全解决。在我们的实验中，多代理近端策略优化（MAPPO）的共享评论家实施优于独立近端策略优化（IPPO）。Mappo达到了800K时间段之后的最佳政策（情节结果平均值），而IPPO只能达到一百万个时间段的情节结果平均值为0.966。超参数调整大大改善了训练性能。在一百万个时间段中，调整后的超参数达到了最佳策略，而默认的超参数只能偶尔赢得胜利，大多数模拟导致抽签。我们测试了现实世界中的约束，攻击检测警报成功，并发现当警报成功概率降低到0.75或0.9时，MARL Defenders仍然能够分别在97.5％或99.5％的情节中获胜。
海上运营技术网络安全的多代理强化学习
主要关键词
相关文件推荐
