MODRL/D-AM论文笔记
MODRL/D-AM
- 论文总结
模型流程图
模型训练流程图：
结合NSGA-II流程图：
一、问题的定义
1.VRPTW
- 定义一个vrptw类：class VRPTW(boject)
class VRPTW(object):
2.问题的状态
- 定义StateVRPTW类
class StateVRPTW(NamedTuple):
3.问题数据集 VRPTWDataSet
- 定义VRPTWDataSet类
class VRPTWDataset(Dataset):
二、模型
1.Model——Attention Model
- 模型参数：
embedding_dim = 128,
hidden_dim = 128,
problem = vrptw,
n_encode_layers = 1,
mask_inner = True,
mask_logits = True,
normalization = batch
tanh_clipping = 10
checkpoint_encoder = False,
shrink_size = None
初始化模型：
vrptw_contenxt向量:在原来的embedding_dim的基础上+2（* remaining_capacity + current time*）
cvrp_contex向量：
Attention Model：Encoder+Decoder
### 模型初始化
### AttentionModel组成
- 定义AttentionModel类
class AttentionModel(nn.Module):
- GraphAttentionEncoder类：
class GraphAttentionEncoder(nn.Module):
Encoder：
Decoder：
2.Train
总的流程：
读取参数→加载数据（如果参数有写数据路径的前提）→初始化模型AttentionModel→初始化baseline→初始化优化器Adam，并定义两个Adam分别用于更新Model参数和baseline网络参数→生成 验证数据 val_dataset（VRPTWDataset）→生成权重向量矩阵w1,w2 weights = torch.cat((w2, w1), dim=-1) →开始训练 train_epoch→train.py 的train_epoch()
训练过程:
-
设置训练步数
-
生成VRPTW训练数据
-
转换数据格式
-
设置模型的选取节点方式（sampling）
-
开始训练
定义获取训练数据
- 计算每个节点的概率和 和cost
1.Embedding（）
- _init_embed()
Embedding结束，Embedding为[50,26,128]
2.根据Embedding计算概率和求解（解码过程）
_log_p, pi = self._inner(input, embeddings)
- __inner()
def _inner(self, input, embeddings):
定义下一个节点prev_nodes 和 指针prev：self.prev_nodes = None,self.prev = None
初始化输出概率列表、解集合：outputs = [ ],sequences = []
根据输入的数据初始化问题状态：state = self.problem.make_state(input)
根据Embedding计算key和用于MHA的key、values`fixed = self._precompute(embeddings)
得到batch值（每次训练抽取的实例个数）：batch_size = state.ids.size(0)
开始解码：
判断节点是否全部被访问：
- 得到每个节点的概率和mask
- 概率归一化：log_p = F.log_softmax(log_p / self.temp, dim=-1)
- 返回log_p, mask
- 根据设置的选取方法（‘sampling’）得到选择的点的序列：selected = self._select_node(log_p.exp()[:, 0, :], mask[:, 0, :])
- 根据selected更新问题状态：state = state.update(selected)
- 输出概率集合outputs和节点集合selected
3.根据节点集合pi和输入数据input得到cost和mask
-
计算baseline的评价值和损失函数loss
bl_val, bl_loss = baseline.eval(x, cost, weight)算法2中的 Lφ -
计算目标函数的权重和
c = weight[0] * cost[0] + weight[1] * cost[1] -
计算强化学习的损失函数
reinforce_loss = ((c - bl_val) * log_likelihood).mean()算法2中的 dθ用于更新模型的梯度 -
计算总的损失函数
loss = reinforce_loss + bl_loss -
梯度更新
优化器梯度清零optimizer.zero_grad()
反向传播计算梯度loss.backward()
梯度裁剪grad_norms = clip_grad_norms(optimizer.param_groups, opts.max_grad_norm)
根据梯度更新网络参数 optimizer.step()
输出并保存模型
三、训练好的模型基于solomon数据进行测试
参数设置
-
加载solomon数据
-
加载五种动态性数据 list
d存放 动态性数据 -
循环100个模型生成多个解
- 1.定义为访问节点集合
- 2.定义节点id，刚开始的ID等于所有尚未访问过的结点
- 3.定义并初始mask集合 1为不可选 0 为可选
- 4.定义存储车辆的集合 prev = []
- 5.加载模型设置模型 选点方式
- 6.生成解和当前输入（动态）
![(image/image_9.png)
5. 遍历选点
根据当前点，更新mask（time、used_capactiy、）
得到的解的形式：
![(image/image_10.png)
- 7. 根据解和当前输入（动态）计算每条线路的目标值
- 8.根据当前的点和到达时间更新
- 9.更新后生成新的解
- 10.再次计算每条线路的目标值
- 11.最后规划好一条路径得到的解：
![(image/image_11.png)
- 12.计算所有解f1、f2两个函数的值
初始化两个目标函数存放tensor
保存 两个函数值
- 13.NSGA-II计算f1、f2的拥挤度
- 14.可视化
原文：MODRL/D-AM: Multiobjective Deep Reinforcement Learning Algorithm Using Decomposition and Attention Model for Multiobjective Optimization