深度强化学习（7）深度确定性策略梯度（DDPG）

深度确定性策略梯度（DDPG）

1.从随机策略到确定性策略

首先，我们先了解一下随机策略和确定性策略。
随机策略的公式为：

${\pi }_{\theta }\left(a|s\right)=P\left[a|s;\theta \right]$

其含义是，在状态为s时，动作符合参数为$\theta$的概率分布。因此，我们可以总结说，采用随机策略时，即使在相同的状态，每次所采取的动作也很可能不一样。
我们再来看看确定性策略的公式：

$a={\mu }_{\theta }\left(s\right)$

跟随机策略不同，相同的策略（即$\theta$ 相同时），在状态s时，动作是唯一确定的。
下面我们比较一下随机策略和确定性策略的优缺点。
确定性策略的优点在于需要采样的数据少，算法效率高。
首先，我们看随机策略的梯度计算公式：

${\nabla }_{\theta }J\left({\pi }_{\theta }\right)=E_{s\sim {\rho }^{\pi },a\sim {\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }\left(a|s\right)Q^{\pi }\left(s,a\right)\right]$

上式表明，策略梯度公式是关于状态和动作的期望，在求期望时，需要对状态分布和动作分布求积分。这就要求在状态空间和动作空间采集大量的样本，这样求均值才能近似期望。

然而，确定性策略的动作是确定的，所以如果存在确定性策略梯度，策略梯度的求解不需要在动作空间进行采样积分。因此，相比于随机策略方法，确定性策略需要的样本数据要小。尤其是对那些动作空间很大的智能体(比如多关节机器人)，其动作空间维数很大。如果用随机策略，需要在这些动作空间中进行大量的采样。

通常来说，确定性策略方法的效率比随机策略的效率高十倍，这也是确定性策略方法最主要的优点。

相比于确定性策略，随机策略也有它自身的优点：随机策略可以将探索和改善集成到一个策略中。

而对于确定性策略，给定状态s和策略参数$\theta$时，动作是固定的。也就是说，当初始状态已知时，用确定性策略所产生的轨迹永远都是固定的，智能体无法探索其它的轨迹或访问其它的状态，从这个层面来说，智能体无法学习。我们知道，强化学习算法是通过智能体与环境交互来学习的。这里的交互是指探索性交互，即智能体会尝试很多动作，然后在这些动作中学到好的动作。

既然确定性策略无法探索环境，那么它如何学习呢？

答案就是利用异策略学习方法，即off-policy。异策略是指行动策略和评估策略不是一个策略。这里我们的行动策略是随机策略，以保证充足的探索。评估策略是确定性策略。整个确定性策略的学习框架采用AC（Actor-Critic Algorithm）的方法。

AC算法包括两个同等地位的元素，一个元素是Actor即行动策略，另一个元素是Critic策略即评估，这里是指利用函数逼近方法估计值函数。

我们先看看随机策略AC的方法。

随机策略的梯度为

${\nabla }_{\theta }J\left({\pi }_{\theta }\right)=E_{s\sim {\rho }^{\pi },a\sim {\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }\left(a|s\right)Q^{\pi }\left(s,a\right)\right]$

其中Actor方法用来调整$\theta$值；Critic方法逼近值函数$Q^w\left(s,a\right)\approx Q^{\pi }\left(s,a\right)$，其中$w$为待逼近的参数，可用TD学习的方法评估值函数。

异策略随机策略梯度：

${\nabla }_{\theta }{J}_{\beta }\left({\pi }_{\theta }\right)=E_{s\sim {\rho }^{\beta },a\sim \beta }\left[\frac{{\pi }_{\theta }\left(a|s\right)}{{\beta }_{\theta }\left(a|s\right)}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a|s\right)Q^{\pi }\left(s,a\right)\right]$

采样策略为$\beta$。

为了给出确定性策略AC的方法，我们首先给出确定性策略梯度：

${\nabla }_{\theta }J\left({\mu }_{\theta }\right)=E_{s\sim {\rho }^{\mu }}\left[{\nabla }_{\theta }{\mu }_{\theta }\left(s\right){\nabla }_a{Q}^{\mu }\left(s,a\right){|}_{a={\mu }_{\theta }\left(s\right)}\right]$

和随机策略梯度相比，少了对动作的积分，多了回报函数对动作的导数。

异策略确定性策略梯度为：

${\nabla }_{\theta }{J}_{\beta }\left({\mu }_{\theta }\right)=E_{s\sim {\rho }^{\beta }}\left[{\nabla }_{\theta }{\mu }_{\theta }\left(s\right){\nabla }_a{Q}^{\mu }\left(s,a\right){|}_{a={\mu }_{\theta }\left(s\right)}\right]$

和随机策略梯度相比，确定性策略梯度求解时少了重要性权重，这是因为重要性采样是用简单的概率分布去估计复杂的概率分布，而确定性策略的动作为确定值而不是概率分布，另外确定性策略的值函数评估用的是Qlearning的方法，即用$TD(0)$来估计动作值函数并忽略重要性权重。

有了上式,我们便可以得到确定性策略异策略AC算法的更新过程，如下：

$$\begin{gathered} {\delta }_t=r_t+\gamma Q^w\left(s_{t+1},{\mu }_{\theta }\left(s_{t+1}\right)\right)-Q^w\left(s_t,a_t\right) \\ {w}_{t+1}=w_t+{\alpha }_w{\delta }_t{\nabla }_w{Q}^w\left(s_t,a_t\right) \\ {\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }{\mu }_{\theta }\left(s_t\right){\nabla }_a{Q}^w\left(s_t,a_t\right){|}_{a={\mu }_{\theta }\left(s\right)} \end{gathered}$$

上式第一行和第二行是利用值函数逼近的方法更新值函数参数，第三行是利用确定性策略梯度的方法更新策略参数。

以上介绍的是确定性策略梯度方法，可以称为DPG的方法。有了DPG，我们再讲DDPG。

DDPG是深度确定性策略，所谓深度是指利用深度神经网络逼近行为值函数$Q^w\left(s,a\right)$和确定性策略${\mu }_{\theta }\left(s\right)$。

2.从DPG到DDPG

当利用深度神经网络进行函数逼近的时候，强化学习算法常常不稳定。这是因为，对深度神经网络进行训练的时候往往假设输入的数据是独立同分布的，但强化学习的数据是顺序采集的，数据之间存在马尔科夫性，很显然这些数据并非独立同分布的。

为了打破数据之间的相关性，DQN用了两个技巧：经验回放和独立的目标网络。DDPG的算法便是将这两条技巧用到了DPG算法中。

从DPG到DDPG的过程，除了经验回放以外，我们有了双网络，即当前网络和目标网络的概念。而由于现在我们本来就有Actor网络和Critic两个网络，那么双网络就变成了4个网络，分别是：Actor当前网络，Actor目标网络，Critic当前网络，Critic目标网络。2个Actor网络的结构相同，2个Critic网络的结构相同。

我们总结下DDPG 4个网络的功能定位：

1. Actor当前网络：负责策略网络参数$\theta$的迭代更新，负责根据当前状态$S$选择当前动作$A$，用于和环境交互生成$S^{\prime }$,$R$。
2. Actor目标网络：负责根据下一状态$S^{\prime }$选择最优下一动作$A^{\prime }$。网络参数${\theta }^{\prime }$定期从$\theta$复制。
3. Critic当前网络：负责价值网络参数$w$的迭代更新，负责计算当前Q值$Q(S,A,w)$。
4. Critic目标网络：负责计算目标$Q$值中的$Q^{\prime }\left(S^{\prime },A^{\prime },w^{\prime }\right)$部分。网络参数$w^{\prime }$定期从$w$复制。目标$Q$值: $y_i=R+\gamma Q^{\prime }\left(S^{\prime },A^{\prime },w^{\prime }\right)$

DDPG除了这4个网络结构，还用到了经验回放，这部分用于计算目标Q值。

此外，DDPG从当前网络到目标网络的复制和DQN不一样。DQN是直接把当前$Q$网络的参数复制到目标$Q$网络，即$w^{\prime }$=$w$, DDPG这里没有使用这种硬更新，而是使用了软更新，即每次参数只更新一点点，即：

$w^{\prime }\leftarrow \tau w+(1-\tau )w^{\prime }$
${\theta }^{\prime }\leftarrow \tau \theta +(1-\tau ){\theta }^{\prime }$

其中$\tau$是更新系数，一般取的比较小，比如0.1或者0.01这样的值。

同时，为了学习过程可以增加一些随机性，增加学习的覆盖，DDPG对选择出来的动作$A$会增加一定的噪声$\mathcal{N}$，即最终和环境交互的动作$A$的表达式是：

$A={\pi }_{\theta }(S)+\mathcal{N}$

最后，我们来看看DDPG的损失函数。对于Critic当前网络，其损失函数和DQN是类似的，都是均方误差，即：

$J(w)=\frac{1}{m}{\sum }_{j=1}^m{\left(y_j-Q\left(\varphi \left(S_j\right),A_j,w\right)\right)}^2$

而对于 Actor当前网络，其损失函数就和PG不同了，这里由于是确定性策略，原论文定义的损失梯度是：

${\nabla }_J(\theta )=\frac{1}{m}{\sum }_{j=1}^m\left[{\nabla }_a{Q}_{{\left(s_i,a_i,w\right)|}_{s=s_i,a={\pi }_{\theta }(s)}}{\nabla }_{\theta }{{\pi }_{\theta (s)}|}_{s=s_i}\right]$

看起来比较麻烦，但是其实理解起来很简单。假如对同一个状态，我们输出了两个不同的动作$a_1$和$a_2$，从Critic当前网络得到了两个反馈的Q值，分别是$Q_1$，$Q_2$，假设$Q_1$>$Q_2$，即采取动作1可以得到更多的奖励，那么策略梯度的思想就是增加$a_1$的概率，降低$a_2$的概率，也就是说，Actor想要尽可能的得到更大的$Q$值。所以我们的Actor的损失可以简单的理解为得到的反馈$Q$值越大损失越小，得到的反馈$Q$值越小损失越大，因此只要对状态估计网络返回的$Q$值取个负号即可，即：

$J(\theta )=-\frac{1}{m}{\sum }_{j=1}^m{Q}_{\left(s_i,a_i,w\right)}$

3. DDPG算法流程

这里我们总结下DDPG的算法流程。首先给出DDPG的更新公式：

${\delta }_t=r_t+\gamma Q^{w^{-}}\left(s_{t+1},{\mu }_{{\theta }^{-}}\left(s_{t+1}\right)\right)-Q^w\left(s_t,a_t\right)$
$w_{t+1}=w_t+{\alpha }_w{\delta }_t{\nabla }_w{Q}^w\left(s_t,a_t\right)$
${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }{\mu }_{\theta }\left(s_t\right){\nabla }_a{Q}^w{\left(s_t,a_t\right)|}_{a={\mu }_{\theta }(s)}$
${\theta }^{-}=\tau \theta +(1-\tau ){\theta }^{-}$
$w^{-}=\tau w+(1-\tau )w^{-}$

输入：Actor当前网络，Actor目标网络，Critic当前网络，Critic目标网络,参数分别为$\theta$,${\theta }^{\prime }$,$w$,$w^{\prime }$,衰减因子$\gamma$, 软更新系数$\tau$,批量梯度下降的样本数$m$,目标Q网络参数更新频率$C$。最大迭代次数$T$。随机噪音函数$\mathcal{N}$
　　
输出：最优Actor当前网络参数$\theta$,Critic当前网络参数$w$

1. 随机初始化$\theta$,$w$, $w^{\prime }$=$w$,${\theta }^{\prime }$=$\theta$。清空经验回放的集合$D$
2. for $i$ from 1 to $T$，进行迭代。
   　　
   　　 a) 初始化$S$为当前状态序列的第一个状态, 拿到其特征向量$\varphi (S)$
   　　
   　　 b) 在Actor当前网络基于状态$S$得到动作$A={\pi }_{\theta }(\varphi (S))+\mathcal{N}$
   　　
   　　 c) 执行动作$A$,得到新状态$S^{\prime }$,奖励$R$,是否终止状态$is\_end$
   　　
   　　 d) 将$\left\{\varphi (S),A,R,\varphi \left(S^{\prime }\right),i{s}_{-}end\right\}$这个五元组存入经验回放集合$D$
   　　
   　　 e) $S$=$S^{\prime }$
   　　
   　　 f) 从经验回放集合$D$中采样$m$个样本$\left\{\varphi \left(S_j\right),A_j,R_j,\varphi \left(S_j^{\prime }\right),i{s}_{-}en{d}_j\right\}$，$j$=1,2.,$m$，计算当前目标Q值$y_j$
   　　
   $y_j=\{\begin{array}{ll}{R}_j& {\text{ is end }}_j\text{ is true }\\ R_j+\gamma Q^{\prime }\left(\varphi \left(S_j^{\prime }\right),{\pi }_{{\theta }^{\prime }}\left(\varphi \left(S_j^{\prime }\right)\right),w^{\prime }\right)& {\text{ is end }}_j\text{ is false }\end{array}$
   　　
   　　 g) 使用均方差损失函数$\frac{1}{m}{\sum }_{j=1}^m{\left(y_j-Q\left(\varphi \left(S_j\right),A_j,w\right)\right)}^2$，通过神经网络的梯度反向传播来更新Critic当前网络的所有参数$w$
   　　
   　　 h) 使用$J(\theta )=-\frac{1}{m}{\sum }_{j=1}^m{Q}_{\left(s_i,a_i,w\right)}$，通过神经网络的梯度反向传播来更新Actor当前网络的所有参数$\theta$
   　　
   　　 i) 如果$T$%$C$=1,则更新Critic目标网络和Actor目标网络参数：
   　　 $w^{\prime }\leftarrow \tau w+(1-\tau )w^{\prime }$
   　　 ${\theta }^{\prime }\leftarrow \tau \theta +(1-\tau ){\theta }^{\prime }$
   　　
   　　 j) 如果$S^{\prime }$是终止状态，当前轮迭代完毕，否则转到步骤$b$

以上就是DDPG算法的主流程，要注意的是上面的步骤 f) 中的${\pi }_{{\theta }^{\prime }}\left(\varphi \left(S_j^{\prime }\right)\right)$是通过Actor目标网络得到，而$Q^{\prime }\left(\varphi \left(S_j^{\prime }\right),{\pi }_{{\theta }^{\prime }}\left(\varphi \left(S_j^{\prime }\right)\right),w^{\prime }\right)$则是通过Critic目标网络得到的。

参考文献：
[1]https://www.cnblogs.com/pinard/p/10345762.html
[2]https://zhuanlan.zhihu.com/p/26441204