【深度强化学习】DDPG算法

1 DDPG简介

• 确定性策略梯度（Deterministic Policy Gradient，DPG）：确定性策略是和随机策略相对而言的。作为随机策略，在同一个状态处，采用的动作是基于一个概率分布，即是不确定的。而确定性策略则决定简单点，只取最大概率的动作，去掉这个概率分布。作为确定性策略，在同一个状态处，动作是唯一确定的，即策略变成：

$${\pi }_{\theta }(s)=a$$

• DDPG的提出其实是为了让DQN可以扩展到连续的动作空间
• DDPG借鉴了DQN的两个技巧：经验回放 & 目标网络
• DDPG使用策略网络直接输出确定性动作
• DDPG使用了Actor-Critic的架构

---

2 DDPG原理

DDPG有四个网络：分别是 Actor当前网络 、Actor目标网络、Critic当前网络、Critic目标网络
Critic当前网络、Critic目标网络 和DDQN的当前Q网络、目标Q网络的功能定位类似，但是DDPG有自己的Actor策略网络，因此不需要$ϵ$-贪婪法这样的策略，这部分DDQN的功能到了DDPG可以在Actor当前网络完成。而对经验回放池中采样的下一状态$S^{\prime }$使用贪婪法选择动作$A^{\prime }$，这部分工作由于用来估计目标Q值，因此可以放到Actor目标网络完成。

基于经验回放池和目标Actor网络提供的$S^{\prime },A^{\prime }$计算目标Q值的一部分，这部分由于是评估，因此放到Critic目标网络完成。而Critic目标网络计算出目标Q值一部分后，Critic当前网络会计算目标Q值，并进行网络参数的更新，并定期讲网络参数复制到Critic目标网络。
此外，Actor当前网络也会基于Critic目标网络计算出的目标Q值，进行网络参数的更新，并定期将网络参数复制到Actor目标网络。

根据上面的思路，总结DDPG 4个网络的功能定位：

1. Actor当前网络：负责策略网络参数$\theta$的迭代更新，负责根据当前状态$S$选择当前动作$A$，用于和环境交互生成$S^{\prime },R$
2. Actor目标网络：负责根据经验回放池中采样的下一状态$S^{\prime }$选择最优下一动作$A^{\prime }$。网络参数${\theta }^{\prime }$定期从$\theta$复制。
3. Critic当前网络：负责价值网络参数$w$的迭代更新，负责计算当前Q值$Q(S,A,w)$。目标Q值$y_i=R+\gamma Q^{\prime }(S^{\prime },A^{\prime },w^{\prime })$
4. Critic目标网络：负责计算目标Q值中的$Q^{\prime }(S^{\prime },A^{\prime },w^{\prime })$部分。网络参数$w^{\prime }$定期从$w$复制。

此外，DDPG从当前网络到目标网络的复制和我们之前讲到了DQN不一样。回想DQN，我们是直接把将当前Q网络的参数复制到目标Q网络，即w′=w, DDPG这里没有使用这种硬更新，而是使用了软更新，即每次参数只更新一点点，即：$$w^{\prime }\leftarrow \tau w+(1-\tau )w^{\prime }$$ $${\theta }^{\prime }\leftarrow \tau \theta +(1-\tau ){\theta }^{\prime }$$其中τ是更新系数，一般取的比较小，比如0.1或者0.01这样的值。

同时，为了学习过程可以增加一些随机性，增加学习的覆盖，DDPG对选择出来的动作$A$会增加一定的噪声$\mathcal{N}$,即最终和环境交互的动作$A$的表达式是：$$A={\pi }_{\theta }(S)+\mathcal{N}$$

3 DDPG 算法流程

输入： Actor当前网络 、Actor目标网络、Critic当前网络、Critic目标网络，参数分别为$\theta ,{\theta }^{\prime },w,w^{\prime }$，衰减因子$\gamma$，软更新系数$\tau$，批量梯度下降的样本数$m$，目标Q网络参数更新频率$C$，最大迭代次数$T$，随机噪声函数$\mathcal{N}$
输出： 最优Actor当前网络参数$\theta$，Critic当前网络参数$w$

1. 随机初始化$\theta ,w,w^{\prime }=w,{\theta }^{\prime }=\theta$。清空经验回放集$D$
2. for i from 1 to T，进行迭代：
   a) 初始化S为当前状态序列的第一个状态，拿到其特征向量$\varphi (S)$
   b) 在Actor当前网络基于状态$S$得到动作$A={\pi }_{\theta }(\varphi (S))+\mathcal{N}$
   c) 执行动作$A$，得到新状态$S^{\prime }$，奖励$R$，是否终止状态$is\_end$
   d) 将五元组$\left\{\varphi (S),A,R,\varphi (S^{\prime }),is\_end\right\}$存入经验回放集$D$
   e) $S=S^{\prime }$
   f) 从经验回放集合$D$中采样$m$个样本$\left\{\varphi (S_j),A_j,R_j,\varphi (S_j^{\prime }),is\_en{d}_j\right\},j=1,2,\dots ,m$，计算当前目标Q值$y_j$：$$y_j=\{\begin{array}{ll}{R}_j& is\_endistrue\\ R_j+\gamma Q^{\prime }(\varphi (S_j^{\prime }),{\pi }_{{\theta }^{\prime }}(\varphi (S_j^{\prime })),w^{\prime })& is\_endisfalse\end{array}$$
   g) 使用均方差损失函数$\frac{1}{m}{\sum }_{j=1}^m{\left(y_j-Q(\varphi (S_j),A_j,w)\right)}^2$，通过神经网络的梯度反向传播来更新Critic当前网络参数$w$
   h) 使用$J(\theta )=-\frac{1}{m}{\sum }_{j=1}^{m}Q(s_i,a_i,\theta )$，通过神经网络的梯度反向传播来更新Actor当前网络参数$\theta$
   i) 如果$t\%C=1$，则更新Critic目标网络和Actor目标网络参数：$$w^{\prime }\leftarrow \tau w+(1-\tau )w^{\prime }$$ $${\theta }^{\prime }\leftarrow \tau \theta +(1-\tau ){\theta }^{\prime }$$
   j) 如果$S^{\prime }$为终止状态，当前episode迭代结束，否则转到步骤b

---

DDPG学习笔记参考刘建平：深度确定性策略梯度(DDPG)