【论文阅读】注意力机制与二维 TSP 问题

前置知识

注意力机制

见 这篇

二维 TSP 问题

给定二维平面上 $n$ 个点的坐标 $S=\{x_i{\}}_{i=1}^n$，其中 $x_i\in [0,1{]}^2$，要找到一个 $1\sim n$ 的排列 $\pi$ ，使得目标函数
$$L(\pi |s)=\Vert x_{{\pi }_1}-x_{{\pi }_n}{\Vert }_2+\sum _{i=1}^{n-1}\Vert x_{{\pi }_i}-x_{{\pi }_{i+1}}{\Vert }_2$$
尽可能小。

Pointer Networks

论文链接

指定 ${\pi }_1=1$ ，然后依次预测 ${\pi }_2,{\pi }_3,...,{\pi }_n$ 。

预测方式利用了注意力机制（加性模型）：
$$u_j^i=v^T\tanh (W_1{e}_j+W_2{d}_i)$$
其中 $v,W_1,W_2$ 是可学习的参数，$e_j$ 是（节点 $j$ 的）encoder 隐状态，$d_i$ 是（已选 $i-1$ 个点的图的） decoder 隐状态。然后，直接将 softmax 后的 $u^i$ 作为输出：
$$P({\pi }_i|{\pi }_{1:i-1},\mathcal{P})=\text{softmax}(u^i)$$

encoder 和 decoder 使用单层 LSTM 实现（隐藏层维度 256 或 512）。
训练使用 SGD（lr=1.0, batch_size=128，权重取值 [-0.08, 0.08]，L2 梯度裁剪阈值 2.0）。
训练数据量 1M。

效果如下：

由于是监督学习，只用了 $n\in [5,20]$ 的训练集，方便获取 label

传统的 RNN 的输出是固定词汇表上的分布，因此不能应对 $n$ 比训练集大的情况。而 Pointer Networks 的输出是输入序列上的分布，因此可以应对任意大小的 $n$ 。

Neural Combinatorial Optimization with Reinforcement Learning

论文链接

引入强化学习，学习策略函数 $p_{\theta }(\pi |s)={\prod }_{t=1}^n{p}_{\theta }({\pi }_t|s,{\pi }_{1:t-1})$。

encoder 和 decoder 与 Pointer Networks 相同。

训练使用强化学习（REINFORCE+baseline）：

$${\nabla }_{\theta }J(\theta |s)=E_{p_{\theta }(\pi |s)}[(L(\pi )-b(s)){\nabla }_{\theta }\log p_{\theta }(\pi |s)]$$

其中 $b(s)$ 使用 critic network 近似 $L(\pi |s)$，结构包括 1 个 LSTM encoder，1 个 LSTM 处理块和 2 层带 ReLU 的 MLP decoder。

求解时，使用 active search 方法，不断进行 采样-更新答案-更新参数 的过程，baseline 改为指数滑动平均（无需求导，更简单）

结果如下：

Attention, Learn to Solve Routing Problems!

论文链接

encoder 和 decoder 参考了 Transformer 的结构。

encoder 部分：

共有 $N$ 层，记 $h_i^{(l)}$ 为节点 $i$ 在第 $l$ 层的编码。

• $h_i^{(0)}=W^x{x}_i+b^x$
• ${\hat{h}}_i^{(l)}=B{N}^l(h_i^{(l-1)}+MH{A}_i^l(h_{1:n}^{(l-1)}))$
• $h_i^{(l)}=B{N}^l({\hat{h}}_i^{(l)}+F{F}^l({\hat{h}}_i^{(l)}))$
• ${\bar{h}}^{(N)}=\frac{1}{n}{\sum }_{i=1}^n{h}_i^{(N)}$

$W^x,b^x$ 是可学习的参数
$h_i^{(l)}$ 维度 $d_h=128$
MHA 层 head 数 $M=8$
FF 包括一个 $512$ 维隐藏层+ReLU

decoder 部分：

令 $h_{(c)}^{(N)}$ 为当前时刻的上下文特征

$h_{(c)}^{(N)}=\{\begin{array}{ll}[{\bar{h}}^{(N)},h_{{\pi }_{t-1}}^{(N)},h_{{\pi }_1}^{(N)}]& t>1\\ [{\bar{h}}^{(N)},v^l,v^f]& t=1\end{array}$

其中 $v^l,v^f\in {\mathbb{R}}^{d_h}$ 是可学习的参数

然后利用注意力机制（缩放点积模型，再用 tanh 截断）

• $q_{(c)}=W^Q{h}_{(c)}^{(N)}$
• $k_i=W^K{h}_i^{(N)}$
• $v_i=W^V{h}_i^{(N)}$
• $u_{(c)j}=\{\begin{array}{ll}C\tanh (\frac{q_{(c)}^T{k}_j}{\sqrt{d_k}})& j\notin {\pi }_{1:t-1}\\ -\infty & otherwise\end{array}$
• $p_{\theta }({\pi }_t|s,{\pi }_{1:t-1})=\text{softmax}(u_{(c)})$

其中 $d_k=\frac{d_h}{M}=16$，$C=10$

训练使用强化学习（REINFORCE+baseline）：

$${\nabla }_{\theta }J(\theta |s)=E_{p_{\theta }(\pi |s)}[(L(\pi )-b(s)){\nabla }_{\theta }\log p_{\theta }(\pi |s)]$$

与 《Neural Combinatorial Optimization with Reinforcement Learning
》不同的是， $b(s)$ 是当前最优模型 + 贪心策略得到的路径长度（greedy rollout）。

为稳定 baseline，每个 epoch 冻结 greedy rollout
当通过 paired t-test （$\alpha =5\%$）时才更新 baseline
当 baseline 更新时，采样新的验证集防止过拟合

结果如下：

Learning to Solve Travelling Salesman Problem with Hardness-Adaptive Curriculum

论文链接

若最优解的代价为 $C^{\ast }(X)$ ，策略 $M$ 的代价为 $C_M(X)$ ，定义策略 $M$ 的最优性差距为

$$G_M(X)=\frac{C_M(X)}{C^{\ast }(X)}-1$$

由于 $C^{\ast }(X)$ 不方便求解，令 $M^{\prime }$ 为 $M$ + 贪心产生的更优策略，定义策略 $M$ 的困难度为

$$H(X,M)=\frac{C_M(X)}{C_{M^{\prime }}(X)}-1$$

$M$ 与 $M^{\prime }$ 代价差距越大，$X$ 对 $M$ 越困难

生成样本时，利用梯度上升增加样本的困难度（hardness adaptive）：

$$X^{(t+1)}=\varphi (X^{(t)}+\eta {\nabla }_{X^{(t)}}H(X^{(t)},M))$$

其中 $\varphi$ 为归一化函数，学习率 $\eta$ 和步数 $T$ 是超参数

$${\nabla }_{X}H(X,M)=E_{p_M(\pi |X)}[\frac{C_M(X)}{C_{M^{\prime }}(X)}{\nabla }_X\log p_M(\pi |x)+\frac{{\nabla }_X{C}_M(X)}{C_{M^{\prime }}(X)}]$$

这里将 $C_{M^{\prime }}(X)$ 视为常数

训练也使用 REINFORCE+baseline，但对样本 $X_i$ 增加权重 $w_i=\text{softmax}(F(H(M,X))/T)$（curriculum）。

这里的 $T$ 是“温度”，随训练过程降低，困难的样本越来越重要
$F$ 是一个变换

其他细节与 《Attention, Learn to Solve Routing Problems!》 相同

训练效果如下：