RL+RA 文献阅读 Resource Allocation for Delay-Sensitive Vehicle-to-Multi-Edges (V2Es) Communications in V

J. Wu et al., ‘Resource Allocation for Delay-Sensitive Vehicle-to-Multi-Edges (V2Es) Communications in Vehicular Networks: A Multi-Agent Deep Reinforcement Learning Approach’, IEEE Trans. Netw. Sci. Eng., vol. 8, no. 2, pp. 1873–1886, Jun. 2021, doi: 10.1109/TNSE.2021.3075530.

简述：仅作记录用，这篇paper有点迷，不建议往下看。

GAP：

1.首先，车辆通常以高速移动，这可能导致网络拓扑结构的频繁变化

2.车辆与边缘节点之间的通信变得极不稳定，严重影响通信。在此背景下，以静态或低移动性环境为主的传统工作无法直接用于该场景。

3.根据应用的不同，移动服务或内容对用户的重要性是不同的，从而表现出不同的延迟/质量需求。

Contribution：

1 )智能策略，即根据车辆的动态环境智能地进行任务卸载和边缘缓存决策；2 )车辆到重边( V2Es )，即本文将考虑车辆到多个边缘节点的相互作用；3 )异构性，即任务/服务的重要性和边缘节点能力的异构性。

Method：

提出了多Agent深度确定性策略梯度算法( MADDPG )，该算法采用集中式训练和分布式执行的模式，通过学习获得最优策略。

Model：

 

总体来说，有两种任务，计算型任务和服务请求，计算型按照task offloading的思路 ，在edge或者cloud计算，有相应的时延；服务请求用cache 模型，看content是否存在在edge节点，有一套时延计算模型。然后将这两种时延加权，

Set of vehicles  V 

Set of edge nodes E ：具有 计算能力 且 和RSU之间可以通过无线交换信息（确定RSU和router这种edge 节点需要 wireless communication？），总共B带宽，可分为N个channel

service content T

edge node有一个队列存储任务请求，任务有三类0，1，2，同类型FIFO原则

μ and v are the information size and the CPU rounds to complete the task

上一个slot产生的任务会在下一个slot处理，没有处理的放在队尾。

service content 两种类型：

there are T total of all service requests, in which the computing tasks account for the proportion of α, and the content requests account for the proportion of β. Therefore, we define the average delay function as follows

 

 

 

 State：

Action Vector：

 The agent makes decision where to execute the task request in the current state, whether to store the requested content to the cache memory, and how many power units are needed to perform the task t, and then update to the next state.

 

 建模时cache 是否存储不是用的a_c？M_t不是确定的？？S_t不是确定的？？

The edge router which plays as an agent aims to implement an optimal scheduling strategy that will be used to accomplish the following goals, i.e., 1) minimizing the latency of information transfer between the vehicle and the edge router, 2) executing as many service requests as possible, and 3) minimizing the energy loss during task completion.

 

总结 ：

1.GAP提到的高速移动拓扑变化怎么建模的？没看到

2.车移动的高速性建模里没看到

3.应用不同。体现在content request时候搞了三个优先级，不过Delay属实看不懂