[文献提炼] 车联网中资源分配的问题建模 三篇

前言

摘录和分析看过的论文中 SYSTEM MODEL / PROBLEM FORMULATION 的部分,关注论文的关键词为 UUDN V2X RL。

Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning

本文是19年使用RL解决V2X资源分配问题的经典开源论文

[文献提炼] 车联网中资源分配的问题建模 三篇_第1张图片

 链路的表示:考虑蜂窝车联网如上,在单一基站覆盖下存在 M 个 V2I 和 K 个 V2V,传输高数据率的娱乐数据和高可靠性的周期性安全数据,来自 3GPP Release 15 for cellular V2X enhancement [4]。V2I 用 Uu 接口,V2V用 PC5 接口进行 D2D 通信。假设均为单天线。V2I链路集记作记作 \mathcal{M}={1, ..., M},V2V链路的集合记作 \mathcal{K}= {1, ..., K}。

[4] Technical Specification Group Radio Access Network; Study enhance- ment 3GPP Support for 5G V2X Services; (Release 15), document 3GPP TR 22.886 V15.1.0, 3rd Generation Partnership Project, Mar. 2017.

V2V与V2V在资源分配中的关系:使用蜂窝V2X架构下的 Mode 4,车辆共享资源池以同时进行V2V通信,该资源池与V2I的重叠。假设M个V2I(上行)以固定的功率各占用一个正交的频谱子带。

使用OFDM,假设信道衰落在一个频谱子带内大致相同,不同子带间相互独立。在一个相干时段内,k 号V2V链路 在 m号子带上的增益为:g_k[m] = \alpha_kh_k[m]h为频率相关的小尺度衰落成分(假设其服从单位均值的指数分布),\alpha 为大尺度衰落成分(包括路损和阴影)

  • k‘ 号 V2V 对 k 号 V2V 的干扰为(在 m 号子带上):g_{k',k}[m] 
  • k 号 V2V 对 BS 的干扰为(在 m 号子带上):g_{k,B}[m] 
  • m 号 V2I 对 BS 的干扰为(在 m 号子带上):\hat{g}_{m, B}[m] 
  • m 号 V2I 对 k 号 V2V 的干扰为(在 m 号子带上):\hat{g}_{m,k}[m] 

以上参量如何得到? 

首先要提到这部分的计算过程在代码中 Environment_marl.py - Compute_Performance_Reward_Train 方法里,是用发射功率、大尺小尺算出来的,计算上述参量的时候

  • 已知 V2V链路 (或者说V) 的发射功率 (由动作决定)、V2I损耗(包含大尺小尺和快衰) -> 可算 V2I 受到的干扰
  • 已知 V2I发射功率(据前规定,是定值)、V2I损耗(包含大尺小尺和快衰) -> 可算 V2I 的信号功率
  • 已知 V2V发射功率(由动作决定) 、V2V损耗(包含大尺小尺和快衰) -> 可算 V2V 的信号功率
  • 已知V2I发射功率、V2V发射功率、V2V损耗(包含大尺小尺和快衰)、V2I损耗(包含大尺小尺和快衰)  -> 可算V2V受到的干扰

SINR的表示

m号V2I (在m号子带上)的SINR为 \gamma_{m}^{c}[m]=\frac{P_{m}^{c} \hat{g}_{m, B}[m]}{\sigma^{2}+\sum_{k} \rho_{k}[m] P_{k}^{d}[m] g_{k, B}[m]}

k号V2V(在m号子带上)的SINR为 \gamma_{k}^{d}[m]=\frac{P_{k}^{d}[m] g_{k}[m]}{\sigma^{2}+I_{k}[m]}

其中 P_m^c 和 P_k^d[m] 分别是 m号V2I发射端 和 k 号V2V发射端 的发射功率,\sigma^2 表示噪声功率,I 为干扰功率,如下:I_{k}[m]=P_{m}^{c} \hat{g}_{m, k}[m]+\sum_{k^{\prime} \neq k} \rho_{k^{\prime}}[m] P_{k^{\prime}}^{d}[m] g_{k^{\prime}, k}[m]

用户连接的表示:干扰中的 \rho_k[m] 表示 k号V2V对m号子带的占用情况,假设单个V2V进展用一个子带,因此 \sum_{m} \rho_{k}[m] \leq 1

信道容量的表示(W为频谱子带的带宽):

  • C_{m}^{c}[m]=W \log \left(1+\gamma_{m}^{c}[m]\right) 表示m号V2I的容量(假设m号V2I链路必占用m号子带)
  • C_{k}^{d}[m]=W \log \left(1+\gamma_{k}^{d}[m]\right) 表示k号V2V的容量(若其占用m号子带的话)

优化目标

V2I链路的目标是优化总的V2I信道容量:\sum_mC_m^c[m]

V2V链路的目标是优化其可靠性:\operatorname{Pr}\left\{\sum_{t=1}^{T} \sum_{m=1}^{M} \rho_{k}[m] C_{k}^{d}[m, t] \geq B / \Delta_{T}\right\}, \quad k \in \mathcal{K}

(把大于号左边的和右边的分母互换位置可以看出其是在\Delta _T成功传输B的包的概率)

其中B表示周期性V2V包的大小,\Delta _T 为信道相干时间,C 是关于 t 的函数。

Eco-Vehicular Edge Networks for Connected Transportation: A Distributed Multi-Agent Reinforcement Learning Approach

本论文被 VTC2020-Fall接收,在UUDN架构下研究V2X资源分配

[文献提炼] 车联网中资源分配的问题建模 三篇_第2张图片 高速公路上的UUDN架构,核心思想为组织多个AP为单个UE服务

链路的表示:根据3GPP[14]的高速公路案例,考虑一个单向三车道的模型。VU ( vehicle users ) 集合为 \mathcal{U} = \{u_1, u_2, ..., u_U\} ,AP的集合为 \mathcal{A} = \{a_1, a_2, ..., a_A\} ,沿路侧部署。边缘节点用 b_l 表示,由 AN ( Anchor Node ) 管理。AP通过有线连接到边缘服务器,其无线资源有限,为 W_l Hz。假设AN处由完美的CSI,AN可调整波束赋形的权重。

[14] “3rd Generation Partnership Project; Technical Specification Group Radio Access Network; Study on LTE-based V2X Services,” 3GPP TR 36.885 V14.0.0, Release 14, Jun. 2016.

目标是提升网络的可靠性下限。

用户连接的表示a_{i}^{j}(t)表示 j 号AP是否与 i 号VU 相连;u_{i}^{j}(t) 表示 i号VU 是否与 j号AP相连。所以\mathcal{A}_i(t) 表示与i号VU相连的所有AP的集合,\mathcal{U}_j(t) 表示为 j号VU 所在的虚拟小区。

信道模型的表示:考虑多入单出的通信模型,VU单天线,AP有 N_j 个天线。无线信道在一个基础 time block 服从 quasi-static flat fading (准静态平稳衰落),i号VU 和 AP 的信道为:\textbf{h}_i(t) = [\textbf{h}_{a_1^i}, \textbf{h}_{a_2^i}, ..., \textbf{h}_{a_A^i}]=D_i(t)\rho_i(t)\xi _i(t)\in\mathbb{C}^{N\times1},其中方括号中的每个元素表示一个AP,具体来讲是 \mathbf{h}_{a_{j}^{i}}(t)=\left[h_{i j_{1}}(t), h_{i j_{2}}(t), \ldots, h_{i j_{N_{j}}}(t)\right]^{T}表示一个AP的多天线的信道,其他符号D_i(t),\rho_i(t), \xi_i(t)\sim CN(0, I_N) 分别表示大尺度衰落、log-Normal阴影和快衰落

i号VU的波束赋形向量表示为\mathbf{w}_{i}(t) \triangleq\left[\mathbf{w}_{a_{1}^{i}}^{T}(t), \ldots, \mathbf{w}_{a_{A}^{i}}^{T}(t)\right]^{T},其中\mathbf{w}_{a_{j}^{i}}(t) 表示 j号AP和i号VU的波束赋形权重。到这里,终于可以得到j号AP的发送信号功率:\mathbf{s}_{j}(t)=\sum_{i=1}^{U} \mathbf{w}_{a_{j}^{i}}(t) x_{i}(t),x是单位功率信号。下行接收信号为: 

[文献提炼] 车联网中资源分配的问题建模 三篇_第3张图片

其中 \eta 是接收信号噪声,设其是0均值 \sigma^2 方差的高斯圆对称复高斯分布。

车辆网络工作在时分双工模式,i号VU的可达吞吐量为

                      [文献提炼] 车联网中资源分配的问题建模 三篇_第4张图片

其中 \kappa 为AP的信号带来的频谱效率损失,\left|\mathbf{h}_{i}^{H}(t) \mathbf{w}_{i}(t)\right|^{2} /\left(\sigma^{2}+\sum_{u_{i} ; \epsilon \mathscr{U} \backslash u_{i}}\left|\mathbf{h}_{i}^{H}(t) \mathbf{w}_{i^{\prime}}(t)\right|^{2}\right)=\gamma^t_i(W(t))为SINR。此外,因为有多个AP连接一个VU,因此 backhaul link consumption 为 \mathrm{C}_{i}(t)=\left\|\left[\left\|\mathbf{w}_{a_{1}^{i}}(t)\right\|_{2}, \ldots,\left\|\mathbf{w}_{a_{A}^{i}}(t)\right\|_{2}\right]\right\|_{0} R_{i}^{t}(\mathbf{W}(t)),||0表示非零元素的个数。当在 time slot 中调度了用户时,对于该VU所连接的所有AP的预编码向量(j比如权重 w_i(t) )非零,所以可达数据率也非零。

手段:找到最优的用户连接和波束赋形权重。目标:最大化网络的最大吞吐量,为保证用户公平性,我们定义EE如下

 其含义为,用户总速率 / 网络的总功耗。

问题建模

[文献提炼] 车联网中资源分配的问题建模 三篇_第5张图片

约束于:7b:确保每个VC内的AP数大于一; 7c:确保SINR大于阈值;7d:总功率有限; 7e:用户连接是bool量。

目前而言,对于每个AP有 2^U-1 种V2I连接方式,对每种连接方式还需要计算其功率分配。

简化:将AP的传输功率分成 K 个离散数值。

波束赋形向量表示为:

其中h是j号AP到i号VU的信道信息,P是其功率分配。

Age of Information Aware Radio Resource Management in Vehicular Networks: A Proactive Deep Reinforcement Learning Perspective

2020,本文来自于IEEE TRANSACTIONS ON WIRELESS COMMUNICATIONS,结合 AoI 进行资源分配

[文献提炼] 车联网中资源分配的问题建模 三篇_第6张图片

 链路表示:选取曼哈顿网格模型中的V2V链路研究,如上图所示,车密度恒定,被单个RSU覆盖。V2V链路集合:\kappa = \{1, ..., K\} ,正交频谱子带集合表示为:\mathcal{B} = \{1, ..., B\} ,每个时隙长 \tau,V2V的两辆车的曼哈顿距离恒定,其坐标分别表示为 \mathbf{y}_{k,(v T x)}^{j}=\left(y_{k,(v T x)}^{j, 1}, y_{k,(v T x)}^{j, 2}\right) 和 \mathbf{y}_{k,(v R x)}^{j}=\left(y_{k,(v R x)}^{j, 1}, y_{k,(v R x)}^{j, 2}\right)

V2V链路分为三类:LOS,WLOS(两车在临近交叉口l内的垂直道上),NLOS。

用 H_{k}^{j}=\psi \cdot h\left(\mathbf{y}_{k,(v T x)}^{j}, \mathbf{y}_{k,(v R x)}^{j}\right) 表示信道状态\psi 表示快衰落成分,h表示路损,由坐标可计算(如下图所示)。

城镇模型中载波一般选用5.9GHz。

V2V传递时间敏感的信息,假设一个V2V只占用一个频谱子带,子带分配向量表示为f_{k, b}^j ( b号子带在 slot j 分配给 k号V2V ),因此,F_{k}^{j}=\sum_{b \in \mathcal{B}} f_{k, b}^{j} 表示在 j号slot 内 k号V2V对 是否分配到子带 (是个布尔量) 。

数据包表示:假设其在每个slot的开端生成,生成时间独立于V2V对并均匀分布在slot上(以\lambda为均值)。每个在slot内未完成传递的包,会被丢弃。X_k^j 表示 slot j 内 k号V2V 生成的包的数量,其期望为 \lambda 。

VUE对调度R_k^j个数据包的功率消耗为:

[文献提炼] 车联网中资源分配的问题建模 三篇_第7张图片

C为其他V2V对的干扰,W为频带带宽,\mu 为包的尺寸。由上式可得:

因为时间限制丢失数据包的个数为:

AoI表示:在j号slot的开端 or j-1号slot 的末尾,用 A^k_j 表示k号VUE对的AoI:

若当前时隙无数据包传输,则将VUE对的AoI在下一个时隙设置为\tau

V2V对聚簇:为减轻传输中 V2V对 间的干扰,根据地理位置将其聚簇,共有G簇。将B个频带在不同簇中的VUE复用。频带分配需服从以下约束(表征一簇中,一个频带上最多有一个链路):

聚簇的依据是V2V对的位置,使用基于距离的高斯相似度矩阵 \mathbf{D}^{j}=\left[d_{k, k^{\prime}}^{j}\right]_{k \in \mathcal{K}, k^{\prime} \in \mathcal{K}} 来表示位置信息 d_{k, k'}^j

[文献提炼] 车联网中资源分配的问题建模 三篇_第8张图片

其中的 \xi 和 \varrho 时表示簇尺寸的参数,分别表示簇大小和簇大小的影响。

(4)式的发送功率现在可写为:

 整理一下到目前为止的状态量:\mathbf{S}_{k}^{j}=\left(\left(\mathbf{y}_{k,(v T x)}^{j}, \mathbf{y}_{k,(v R x)}^{j}\right)\right,\left.H_{k}^{j}, X_{k}^{j}, A_{k}^{j}\right) \in \mathcal{S} \triangleq \mathcal{Y} \times \mathcal{H} \times \mathcal{X} \times \mathcal{A},其中y是发射端接收端的坐标,H为信道状态,X为包到达数,A为信息年龄。用 \pi = (\pi_{(F)}, \pi_{(R)}) 表示稳态策略,其中成员分别是频带分配policy和包调度policy。

k号 V2V对 在slot j 的效用函数为(其中三项分别为发送功率损耗、丢包率、AoI):

\begin{aligned} U_{k}\left(\mathbf{S}^{j}, F_{k}^{j}, R_{k}^{j}\right) &=\exp \left(-P_{k}^{j}\right)+\vartheta \cdot \exp \left(-L_{k}^{j}\right) \\ &+\xi \cdot \exp \left(-A_{k}^{j}\right) \end{aligned}

总结

论文 论文1 论文2 论文3
资源分配的对象

V2V发射功率

V2V链路的频谱子带分配

用户与AP的连接方案

AP与用户的连接方案

AP与多个VU的波束赋形权重

频带分配 f

包调度 R

优化目标
  • V2I链路的目标是优化总的V2I信道容量:\sum_mC_m^c[m]
  • V2V链路的目标是优化其可靠性:\operatorname{Pr}\left\{\sum_{t=1}^{T} \sum_{m=1}^{M} \rho_{k}[m] C_{k}^{d}[m, t] \geq B / \Delta_{T}\right\}, \quad k \in \mathcal{K}

EE:

E E(t)=\frac{\sum \mathrm{C}_{i}(t)} {\sum \sum\left\|\mathbf{w}_{a_{j}^{i}}(t)\right\|_{2}^{2}}

一个结合功率、丢包率、AoI的效用函数:

\begin{aligned} U_{k}\left(\mathbf{S}^{j}, F_{k}^{j}, R_{k}^{j}\right) &=\exp \left(-P_{k}^{j}\right)+\vartheta \cdot \exp \left(-L_{k}^{j}\right) \\ &+\xi \cdot \exp \left(-A_{k}^{j}\right) \end{aligned}

信道容量 C_{k}^{d}[m]=W \log \left(1+\frac{P_{k}^{d}[m] g_{k}[m]}{\sigma^{2}+P_{m}^{c} \hat{g}_{m, k}[m]+\sum_{k^{\prime} \neq k} \rho_{k^{\prime}}[m] P_{k^{\prime}}^{d}[m] g_{k^{\prime}, k}[m]}\right)

R_{i}^{t}(\mathbf{W}(\mathbf{t}))=(1-\kappa) \log_2(1+\frac{|\mathbf{h}_{i}^{H}(t) \mathbf{w}_{i}(t)|^2}{\sigma^{2}+\sum|\mathbf{h}_{i}^{H}(t) \mathbf{w}_{i'}(t)|^2 } )

P_{k}^{j}=\sum_{b \in \mathcal{B}} f_{k, b}^{j} \cdot \frac{C_{k, b}^{j}+W \cdot \sigma^{2}}{H_{k}^{j}} \cdot\left(2^{\frac{\mu \cdot R_{k}^{j}}{W \cdot \tau}}-1\right)
约束  

7b:确保每个VC内的AP数大于一; 7c:确保SINR大于阈值;

7d:总功率有限;

7e:用户连接是bool量。

 

 

 

 

你可能感兴趣的:(V2X,自动驾驶,资源管理)