无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法（2）——模型构建
无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法（2）——模型构建
参考文献：
[1] Wang Y , Fang W , Ding Y , et al. Computation offloading optimization for UAV-assisted mobile edge computing: a deep deterministic policy gradient approach[J]. Wireless Networks, 2021:1-16.doi：https://doi.org/10.1007/s11276-021-02632-z
2 系统模型
我们考虑了一种无人机辅助的MEC系统，该系统由UE和配备纳米MEC服务器的无人机组成。整个系统运行在离散时间内，时隙长度相等。对所有终端提供通信和计算服务，但一次只能对一个终端。由于计算能力的限制，终端必须通过无线网络将部分计算任务转移到无人机的MEC服务器上。
2.1 通信模型
无人机以时间划分方式向所有终端提供计算服务，将整个通信周期 T 划分为 I 个时隙。我们假设 UEs 在该区域内以低速随机移动。在每个时间段，无人机在固定位置悬停，然后与其中一个终端建立通信。终端将部分计算任务卸载到服务器上后，剩余的计算任务将在本地执行。在三维笛卡尔坐标系下，无人机保持在固定高度 H 飞行，无人机的起始坐标 q ( i ) = [ x ( i ) , y ( i ) ] T ∈ R ( 2 × 1 ) q(i)=[x(i), y(i)]^T \in R^{(2 \times 1)} q(i)=[x(i),y(i)]T∈R(2×1) 和结束坐标 q ( i + 1 ) = [ x ( i + 1 ) , y ( i + 1 ) ] T ∈ R ( 2 × 1 ) q(i+1)=[x(i+1), y(i+1)]^T \in R^{(2 \times 1)} q(i+1)=[x(i+1),y(i+1)]T∈R(2×1) 在时隙 i ∈ { 1 , 2 , ⋯ , I } i \in \{1,2, \cdots,I\} i∈{1,2,⋯,I} 。UE坐标 k ∈ { 1 , 2 , ⋯ , K } k \in \{1,2, \cdots,K\} k∈{1,2,⋯,K} 是 p k ( i ) = [ x k ( i ) , y k ( i ) ] T ∈ R ( 2 × 1 ) p_k(i)=[x_k(i), y_k(i)]^T \in R^{(2 \times 1)} pk(i)=[xk(i),yk(i)]T∈R(2×1) 。无人机与UE k之间的视距链路的信道增益可以表示为:
g k ( i ) = α 0 d k − 2 ( i ) = α 0 ∣ ∣ q ( i + 1 ) − p k ( i ) ∣ ∣ 2 + H 2 g_k(i) = \alpha_0 d_k^{-2}(i) = \frac{\alpha_0}{||q(i+1)-p_k(i)||^2+H^2} gk(i)=α0dk−2(i)=∣∣q(i+1)−pk(i)∣∣2+H2α0
式中， α 0 \alpha_0 α0 为参考距离 d = 1 m d=1m d=1m 处的信道增益， d k ( i ) d_k(i) dk(i) 为无人机与 k 之间的欧氏距离。由于障碍物的遮挡，无线传输速率可表示为:
r k ( i ) = B l o g 2 ( 1 + P u p g k ( i ) σ 2 + f k ( i ) P N L O S ) r_k(i) = B log_2(1+\frac{P_{up}g_k(i)}{\sigma^2+f_k(i)P_{NLOS}}) rk(i)=Blog2(1+σ2+fk(i)PNLOSPupgk(i))
B 表示通信带宽, P u p P_{up} Pup 表示终端在上传链路的传输功率, σ 2 \sigma^2 σ2 表示噪声功率, P N L O S P_{NLOS} PNLOS 表示传输损耗, f k ( i ) f_k(i) fk(i) 表示在时刻 i , UAV 与UE k之间是否有阻塞的指示器(即0表示无堵塞，1表示堵塞)。
2.2 计算模型
在我们的MEC系统中，在每个时隙中对终端的任务使用了部分卸载策略。设 R k ( i ) ∈ [ 0 , 1 ] R_k(i) \in [0,1] Rk(i)∈[0,1] 表示卸载到服务器的任务的比例， ( 1 − R k ( i ) ) (1-R_k(i)) (1−Rk(i)) 表示在终端本地执行的剩余任务。那么，UE k在第 i 个时隙的本地执行延迟可以表示为:
t l o c a l , k ( i ) = ( 1 − R k ( i ) ) D k ( i ) s f U E t_{local,k}(i) = \frac{(1-R_k(i))D_k(i)s}{f_{UE}} tlocal,k(i)=fUE(1−Rk(i))Dk(i)s
其中， D k ( i ) D_k(i) Dk(i)为UE k的计算任务大小， s 为 UE 处理每个单位字节所需的CPU周期， f U E f_{UE} fUE 为 UE 的计算能力。在第一个时间段，无人机从位置 q(i) 飞行到新的悬停位置
q ( i + 1 ) = [ x ( i ) + v ( i ) t f l y cos β ( i ) , y ( i ) + v ( i ) t f l y sin β ( i ) ] T \mathbf{q}(i+1)=\left[x(i)+v(i) t_{fly} \cos \beta(i), y(i)+v(i) t_{fly} \sin \beta(i)\right]^{T} q(i+1)=[x(i)+v(i)tflycosβ(i),y(i)+v(i)tflysinβ(i)]T
其中，速度为 v ( i ) ∈ [ 0 , v m a x ] v(i) \in [0,v_{max}] v(i)∈[0,vmax] 以及角度 β ( i ) ∈ [ 0 , 2 π ] \beta(i) \in [0, 2\pi] β(i)∈[0,2π] 。本次飞行所消耗的能量可以表示为:
E f l y ( i ) = ϕ ∣ ∣ v ( i ) ∣ ∣ 2 E_{fly}(i) = \phi||v(i)||^2 Efly(i)=ϕ∣∣v(i)∣∣2
其中 ϕ = 0.5 M U A V t f l y \phi=0.5 M_{UAV} t_{fly} ϕ=0.5MUAVtfly ， M 与无人机的有效载荷相关， t f l y t_{fly} tfly 为固定飞行时间。在MEC系统中，服务器提供的计算结果的大小通常非常小，可以忽略不计。因此，这里不考虑下行链路的传输延迟。MEC服务器的处理延迟可分为两部分。一部分是传输时延，可以表示为:
t t r , k ( i ) = R k ( i ) D k ( i ) r k ( i ) t_{t r, k}(i)=\frac{R_{k}(i) D_{k}(i)}{r_{k}(i)} ttr,k(i)=rk(i)Rk(i)Dk(i)
另一部分是在MEC服务器上计算产生的延迟，可以表示为:
t U A V , k ( i ) = R k ( i ) D k ( i ) s f U A V t_{U A V, k}(i)=\frac{R_{k}(i) D_{k}(i) s}{f_{U A V}} tUAV,k(i)=fUAVRk(i)Dk(i)s
其中 f U A V f_{U A V} fUAV 为服务器CPU计算频率。相应的，在 i 时间段将计算任务卸载给服务器所消耗的能量也可以分为两部分，一部分用于传输，一部分用于计算。在MEC服务器上进行计算时，其功耗可表示为:
P U A V , k ( i ) = κ f U A V 3 P_{U A V, k}(i)=\kappa f_{U A V}^{3} PUAV,k(i)=κfUAV3
则MEC服务器在第 i 时刻的能耗为:
E U A V , k ( i ) = P U A V , k ( i ) t U A V , k ( i ) = κ f U A V 2 R k ( i ) D k ( i ) s E_{U A V, k}(i)=P_{U A V, k}(i) t_{U A V, k}(i)=\kappa f_{U A V}^{2} R_{k}(i) D_{k}(i) s EUAV,k(i)=PUAV,k(i)tUAV,k(i)=κfUAV2Rk(i)Dk(i)s
2.3 问题公式化
在此基础上，提出了无人机辅助MEC系统的优化问题。为了确保有限的计算资源的有效利用，我们的目标是通过联合优化用户调度、无人机机动性和系统中的资源分配，使所有终端的最大处理延迟最小化。具体而言，优化问题可以表示为:
min { α k ( i ) , q ( i + 1 ) , R k ( i ) } ∑ i = 1 I ∑ k = 1 K α k ( i ) max { t l o c a l , k ( i ) , t U A V , k ( i ) + t t r , k ( i ) } s.t. α k ( i ) ∈ { 0 , 1 } , ∀ i ∈ { 1 , 2 , … , I } , k ∈ { 1 , 2 , … , K } , ∑ k = 1 K α k ( i ) = 1 , ∀ i , 0 ≤ R k ( i ) ≤ 1 , ∀ i , k , q ( i ) ∈ { ( x ( i ) , y ( i ) ) ∣ x ( i ) ∈ [ 0 , L ] , y ∈ [ 0 , W ] } , ∀ i , p ( i ) ∈ { ( x k ( i ) , y k ( i ) ) ∣ x k ( i ) ∈ [ 0 , L ] , y k ∈ [ 0 , W ] } , ∀ i , k , f k ( i ) ∈ { 0 , 1 } , ∀ i , k , ∑ i = 1 I ( E f l y , k ( i ) + E U A V , k ( i ) ) ≤ E b , ∀ k , ∑ i = 1 I ∑ k = 1 K α k ( i ) D k ( i ) = D \min _{\left\{\alpha_{k}(i), \mathbf{q}(i+1), R_{k}(i)\right\}} \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) \max \left\{t_{l o c a l, k}(i), t_{U A V, k}(i)+t_{t r, k}(i)\right\} \\ \text { s.t. } \alpha_{k}(i) \in\{0,1\}, \forall i \in\{1,2, \ldots, I\}, k \in\{1,2, \ldots, K\}, \\ \sum_{k=1}^{K} \alpha_{k}(i)=1, \forall i, \\ 0 \leq R_{k}(i) \leq 1, \forall i, k, \\ \mathbf{q}(i) \in\{(x(i), y(i)) \mid x(i) \in[0, L], y \in[0, W]\}, \forall i, \\ \mathbf{p}(i) \in\left\{\left(x_{k}(i), y_{k}(i)\right) \mid x_{k}(i) \in[0, L], y_{k} \in[0, W]\right\}, \forall i, k, \\ f_{k}(i) \in\{0,1\}, \forall i, k , \\ \sum_{i=1}^{I}\left(E_{f l y, k}(i)+E_{U A V, k}(i)\right) \leq E_{b}, \forall k , \\ \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) D_{k}(i)=D {αk(i),q(i+1),Rk(i)}mini=1∑Ik=1∑Kαk(i)max{tlocal,k(i),tUAV,k(i)+ttr,k(i)} s.t. αk(i)∈{0,1},∀i∈{1,2,…,I},k∈{1,2,…,K},k=1∑Kαk(i)=1,∀i,0≤Rk(i)≤1,∀i,k,q(i)∈{(x(i),y(i))∣x(i)∈[0,L],y∈[0,W]},∀i,p(i)∈{(xk(i),yk(i))∣xk(i)∈[0,L],yk∈[0,W]},∀i,k,fk(i)∈{0,1},∀i,k,i=1∑I(Efly,k(i)+EUAV,k(i))≤Eb,∀k,i=1∑Ik=1∑Kαk(i)Dk(i)=D
其中，等式 (9b)和等式 (9c)保证在第 i 个时间段只有一个用户被调度到计算中。等式 (9d)为计算任务卸载率的取值范围。约束(9e)和(9f)表示UE和UAV只能在给定区域内移动。约束(9g)表示无人机与终端之间的无线信道在 i 时隙被堵塞。约束(9h)保证无人机在所有时隙飞行和计算的能耗不超过最大电池容量。约束(9i)指定整个时间段内需要完成的所有计算任务。