卸载的

用于移动边缘计算任务卸载的组合客户端-主多智能体深度强化学习

最近，执行计算密集型任务的移动应用程序激增，例如视频流、数据挖掘、虚拟现实、增强现实、图像处理、视频处理、人脸识别和在线游戏。然而，平板电脑和智能手机等用户设备 (UD) 执行任务计算需求的能力有限。移动边缘计算 (MEC) 已成为一种有前途的技术，可以满足 UD 日益增长的计算需求。MEC 中的任务卸载是一种通过在 UD 和 MEC 服务器之间分配任务来满足 UD 需求的策略。深度强化学习 (DRL) 在任务卸载问题中越来越受到关注，因为它可以适应动态变化并最大限度地降低在线计算复杂度。然而，UD 和 MEC 服务器上各种类型的连续和离散资源限制对设计高效的基于 DRL 的任务卸载策略提出了挑战。现有的基于 DRL 的任务卸载算法侧重于 UD 的约束，假设服务器上有足够的存储资源。此外，现有的基于多智能体 DRL（MADRL）的任务卸载算法是同质智能体，并将同质约束视为其奖励函数中的惩罚。我们提出了一种新颖的组合客户端-主 MADRL（CCM_MADRL）算法，用于 MEC 中的任务卸载（CCM_MADRL_MEC），该算法使 UD 能够决定其资源需求，并让服务器根据 UD 的需求做出组合决策。CCM_MADRL_MEC 是任务卸载中第一个除了考虑 UD 中的约束之外还考虑服务器存储容量的 MADRL。通过利用组合动作选择，CCM_MADRL_MEC 表现出优于现有 MADDPG 和启发式算法的收敛性。