深度学习学习笔记-论文研读4-基于深度强化学习的多用户边缘计算任务卸载调度与资源分配算法

本人学识浅薄，如有理解不到位的地方还请大佬们指出，相互学习，共同进步

概念引入

强化学习

DQN算法

边缘计算
边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据。

本文摘要

研究背景

近年来,越来越多的移动设备连接到互联网上，加上严格的5G要求，为设计网络基础设施带来了新的挑战.许多时延敏感的服务如自动驾驶汽车、交互式游戏和电子医务(以及其他)等工业垂直行业需要安全、低延迟和可靠的通信.为了满足这些严格的要求,计算资源必须移到离用户更近的地方，从网络的核心移到边缘，其中服务器位于用户附近，以最小化回程延迟.移动边缘计算(MobileEdge Computing,MEC)是一种支持移动用户设备(User Equipments,UEs)实现计算敏感应用的新兴技术，将MEC集成到物联网中可以将计算能力和能量有限的loT设备的计算密集型和延迟敏感任务转移到网络边缘，从而为设备提供高质量的服务。随着各种移动应用程序的广泛采用，设备以非常快的速度产生大量数据，这给移动核心网络和口程链路带来了巨大的负担.为了降低移动设备的时延和能量消耗,在移动边缘计算中采用了计算卸载策略为了使系统时延和能耗最小化，需要在移动设备和MEC服务器之间共同分配通信和计算资源.最近有很多在MEC系统卸载和资源分配联合设计方面的研究工作在进行。针对单用户MEC系统，研究了任务卸载调度和传输功率分配的联合问题.,研究了超低功率雾计算交换同步无线信息和功率传输(Simultaneous Wireless Information and Power Transfer,SWIPT)单用户MEC系统中的资源分配问题，考虑到功率受限和不可预测的任务，以单用户处理能力最大化为目标的功率分配问题对MEC系统进行了研究,提出了一种二元搜索充水算法，设计了一种迭代启发式的MEC资源分配算法，以动态进行卸载决策，没有考虑任务卸载调度问题，单用户MEC系统中的联合任务部分卸载决策、卸载调度和资源分配仍然是一个有待解决的问题。
对于多用户MEC场景,有一些最近的研究,考虑了一个具有多个用户和单个 MEC服务器的非正交多路访问(Non-Orthogona Multiple-Access，NOMA)MEC系统，通过使用强化学习(RL)算法DeepQ-network(DQN)在不事先知道其他用户动作的情况下选择同时卸载的用户,得到最优组合状态，使系统卸载延迟最小.,研究多用户MEC系统中的资源分配问题,通过利用回归算法求解通信资源(子载波)的分配问题并合理分配通信和计算资源，在延迟约束下实现系统能量消耗最小.为了进一步提高MEC的接入容量和最小化所有用户的计算开销,利用频谱效率较优的非正交多路访问技术，共同优化计算卸载决策，通信和计算资源分配.,针对NOMA用户,研究了不同上传时延，与共信道干扰之间的相互作用,提出了一种计算卸载方案,通过对卸载决策和资源分配的联合优化来降低用户的平均卸载延迟.研究了在一个基站服务的多个用户之间进行卸载决策和资源分配的问题,以达到最优的系统用户效用，即任务延迟和能量消耗之间的权衡，提出一种基于强化学习的状态-动作-奖赏-状态-动作(RL-SARSA)算法来解决边缘服务器的资源管理问题,并通过优化卸载决策来最小化系统成本(包括能量消耗和计算时延)

以上研究主要考虑多用户的MEC卸载场景，以最小化能耗或延迟为目标.然而，在多用户MEC卸载系统中，任务卸载调度一直没有得到重视.从本质上讲,多用户MEC系统场景下的联合卸载决策和卸载调度问题是一个具有挑战性的问题.

除了考虑多用户MEC系统中的计算卸载问题外,还考虑了异构MEC系统.在文献[20]中，提出了一种基于MEC和云计算的车辆网络中向汽车卸载服务的协同方法,解决了联合优化计算卸载决策和计算资源分配问题.，提出了两种有效的分散算法，供设备在成本最小和时间公平的资源分配策略下实现卸载决策的计算均衡，,提出了一个云和边缘计算系统，该系统包括终端层、边缘计算层和云数据中心(Cloud Data CentersCDCs)层.在此基础上，设计了一种利润最大化的协同计算卸载和资源分配算法，使系统的利润最大化，并保证任务的响应时间限制得到严格满足在文献23中,研究了具有异构云(句括边缘
云和远程云)的多用户MEC系统的任务卸载问题，在任务的有界延迟要求下，最小化多个移动设备的总能量消耗.在文献[24]中,研究了单用户MEC系
统中的部分卸载调度与功率分配问题，在保证任务
的传输功率约束的情况下，使执行延迟和能量消耗的加权和最小.主要考虑了异构MEC系统中任务卸载决策与资源分配，但是没有研究卸载调度问题.在文献[24]中主要研究了异构MEC系统中任务卸载决策、卸载调度问题和功率分配问题，但是没有考虑多用户问题.多用户 MEC中任务卸载、调度和资源分配的联合问题尚未得到深入研究.

在本文中,考虑了多个具有多个计算任务的移动设备,以及加载和执行任务的并行实现.在多用户MEC系统中，我们设计了一种高效、低延迟的移动设备MEC卸载机制.这种机制联合优化任务卸载、调度和资源分配问题，最大限度地降低了系统的能耗，同时也减少了系统的延迟.本文的贡献主要体现在3个方面:(1)对具有多用户多任务的MEC系统的任务部分卸载调度和资源分配问题进行了建模，研究了任务卸载决策、卸载调度和功率分配的联合问题,目标为最小化计算系统执行延迟和能耗的加权和;提出了一个基于强化学习的多用户多任务卸载调度和资源分配算法(Multi-user Multi- task Offloading Scheduling and Power allocation algorithm based on DQL，MMOA-DQN);(3)在上层的服务器分配频率确定的情况下，提出基于贪心策略的流水车间调度算法解决了任务卸载决策和卸载调度问题.下层采用强化学习方法优化服务器频率分配问题.

模型构建

网络模型


问题描述

优先级算法 MMOA-PR

卸载决策与调度算法POJ-M

卸载决策与资源分配

实验

参数设置

结论

本文研究了多用户多任务移动边缘计算中的任务卸载调度与服务器资源分配问题.在多用户MEC系统中，我们建模了一个以边缘设备低耗能、低延迟为目标的任务卸载调度和服务器频率分配问题.由于这是一个非凸混合整数优化问题，为了最大限度地减少执行延迟和能量消耗，提出了一种基于深度强化学习的优化算法.实验仿真分析了各变量在变化过程中对系统耗能和系统延迟的影响.大量的实验也验证了所提出的MMOA-DQN算法在不同网络环境下都能有效提高系统能量效率.