DRL

基于虚拟网络架构的天空地一体化多域网络资源编排：一种DRL方法

摘要 传统地面无线通信网络由于部署、覆盖和容量问题无法为智能交通系统（ITS）等人工智能（AI）应用提供高质量服务，天空地一体化网络（SAGIN）成为业界的研究热点。与传统无线通信网络相比，SAGIN更加灵活可靠，覆盖范围更广，无缝连接质量更高。但由于其固有的异构、时变和自组织特性，SAGIN的部署和使用仍然面临巨大挑战，其中异构资源的编排是关键问题。基于虚拟网络架构和深度强化学习（DRL），将SAGIN的异构资源编排建模为多域虚拟网络嵌入（VNE）问题，提出一种SAGIN跨域VNE算法。对SAGIN的不同网络段进行建模，并根据SAGIN的实际情况和用户需求设置网络属性。在深度强化学习中，代理由一个五层策略网络充当。我们根据从SAGIN中提取的网络属性构建特征矩阵，并将其作为代理的训练环境。通过训练可以得出每个底层节点被嵌入的概率。在测试阶段，我们根据此概率依次完成虚拟节点和链接的嵌入过程。最后，我们从训练和测试两个方面验证了算法的有效性。