深度强化学习CS285 lec5-lec9（超长预警）

一、策略梯度(Policy Gradient)

---

1.1 REINFORCE

• 优化目标$J(\theta )$
  $$\begin{array}{rl}{\theta }^{\ast }& =\underset{\theta }{\mathrm{argmax}}J(\theta )\\ & =\underset{\theta }{\mathrm{argmax}}{E}_{\tau \sim p_{\theta }(\tau )}[\sum _{t}r(s_t,a_t)]\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{t=1}^T{E}_{(s_t,a_t)\sim p_{\theta }(s_t,a_t)}[r(s_t,a_t)](FiniteHorizon)\\ & =\underset{\theta }{\mathrm{argmax}}{E}_{s_1\sim p(s_1)}[V(s_1)]\\ & =\underset{\theta }{\mathrm{argmax}}{E}_{s_1\sim p(s_1)}[E_{a\sim {\pi }_{\theta }(a|s)}[Q(s,a)]]\end{array}$$
  优化目标一般是最大化在一条轨迹$\tau$上累积奖励函数${\sum }_{t}r(s_t,a_t)$的期望;抑或是状态服从平稳分布$s_1\sim p(s_1)$时，最大化状态价值$V(s)$的期望；
• 目标梯度
  令${\pi }_{\theta }(\tau )=p_{\theta }(\tau ),r(\tau )={\sum }_{t}r(s_t,a_t)$，由lec1-lec4得$p_{\theta }(\tau )=p(s_1){\prod }_{t=1}^T{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)$，因此目标$J(\theta )$变为
  $$\begin{array}{rl}J(\theta )& =E_{\tau \sim {\pi }_{\theta }(\tau )}[\sum _{t}r(s_t,a_t)]\\ & =E_{\tau \sim {\pi }_{\theta }(\tau )}[r(\tau )]\\ & =\int {\pi }_{\theta }(\tau )r(\tau )d\tau \end{array}$$
  目标梯度： 由求导公式有$\nabla {\pi }_{\theta }(\tau )={\pi }_{\theta }(\tau ){\nabla }_{\theta }log{\pi }_{\theta }(\tau )$
  $$\begin{array}{rl}\nabla J(\theta )& =\int \nabla {\pi }_{\theta }(\tau )r(\tau )d\tau \\ & =\int {\pi }_{\theta }(\tau ){\nabla }_{\theta }log{\pi }_{\theta }(\tau )r(\tau )d\tau \\ & =E_{\tau \sim {\pi }_{\theta }(\tau )}[{\nabla }_{\theta }log{\pi }_{\theta }(\tau )r(\tau )]\end{array}$$
  $$\begin{gathered} 因为{\pi }_{\theta }(\tau )=p(s_1)\prod _{t=1}^T{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t) \\ 所以{\nabla }_{\theta }log{\pi }_{\theta }(\tau )={\nabla }_{\theta }[logp(s_1)+\sum _{t=1}^{T}log{\pi }_{\theta }(a_t|s_t)+\sum _{t=1}^{T}p(s_{t+1}|s_t,a_t)]=\sum _{t=1}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t) \\ 因此{\nabla }_{\theta }J(\theta )=E_{\tau \sim {\pi }_{\theta }(\tau )}\underset{policyrelated}{[\sum _{t=1}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)]}\underset{SupervisedInfo}{[\sum _{t=1}^{T}r(s_t,a_t)]} \end{gathered}$$
  对于期望采用蒙特卡洛M-C采样trajectory来近似期望，采$N$个样本${\tau }_i=(s_{i,1},a_{i,1},...,s_{i,T},a_{i,T}),i=1,2,...,N$则
  $${\nabla }_{\theta }J(\theta )\approx \frac{1}{N}\sum _{i=1}^N[\sum _{t=1}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})\left]\right[\sum _{t=1}^{T}r(s_{i,t},a_{i,t})]$$
  于是便得到了最原始的策略算法REINFORCE。
• REINFROCE（最原始的策略梯度算法）
  • sample ${\tau }^i$ from ${\pi }_{\theta }(a_t|s_t)$
  • $${\nabla }_{\theta }J(\theta )\approx \frac{1}{N}\sum _{i=1}^N[\sum _{t=1}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})\left]\right[\sum _{t=1}^{T}r(s_{i,t},a_{i,t})]$$
  • $\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$

1. 根据current policy，${\pi }_{\theta }$，来采样得到轨迹(trajectory)样本；
2. 由样本中环境反馈来的reward信号，计算更新当前policy参数的监督信号${\nabla }_{\theta }J(\theta )$
3. 加上可调整的学习率$\alpha$来实现更新
   由此可见，REINFORCE的每一步更新，都需要与环境交互来获取有效的监督信息实现更新，${\sum }_{t}r(s_{i,t},a_{i,t})$的监督信息方差很大，需要一些改进方法使其更有效、更为稳定。

1.2 改进方法

---

1.2.1 因果性（Causality）

• Motivation : Policy at time t’ cannot affect reward at time t when t
• MC的目标梯度：
  $${\nabla }_{\theta }J(\theta )\approx \frac{1}{N}\sum _{i=1}^N[\sum _{t=1}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})\left]\right[\sum _{t=1}^{T}r(s_{i,t},a_{i,t})]$$
• 因果性改进后的梯度：
  $$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& \approx \frac{1}{N}\sum _{i=1}^N[\sum _{t=1}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})\left]\right[\sum _{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }})]\\ & =\frac{1}{N}\sum _{i=1}^N[\sum _{t=1}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})]{\hat{Q}}_{i,t}\end{array}$$
• 说明：在$J(\theta )={\sum }_{\tau }{\pi }_{\theta }(\tau )r(\tau )$中，监督信息$r(\tau )$计算时，要注意，未来的决策并不会改变过去的奖励，因此得从policy的时刻t开始计算$r(\tau )$会更为准确，即因果性优化。

1.2.2 基准（Baselines）

• Motivation : 为了让估计出来的梯度更加稳定
• $$J(\theta )=\frac{1}{N}\sum _{i=1}^N[\sum _{t=1}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})\left]\right[r(\tau )-b]$$
• 关于reward $r(\tau )$与$b$的选择

$$r(\tau )=\sum _{t=1}^{T}r(s_t,a_t)or{\hat{Q}}_{i,t}$$

$$b=\frac{1}{N}\sum _{i=1}^{N}r({\tau }_i)or{V}^{\pi }(s_t)$$

• 说明：因为每一条轨迹的奖励信号$r({\tau }_i)$数值可能差异很多，而目标梯度$\nabla J(\theta )$的更新又依赖于对轨迹采样，因此对奖励信号进行均值标准化$b=\frac{1}{N}{\sum }_{i=1}^{N}r({\tau }_i)$，即通过减去一个基准的方式，来使目标梯度更新过程稳定。基准的选择多种多样，通常为$V^{\pi }(s_t)$。

1.2.3 重要性采样（Important Sampling）

• Motivation : 为了可以重用以前策略获得的样本，减少每一步梯度更新时都需要与环境交互获取新轨迹样本的弊端。
• $$\begin{array}{rl}J(\theta )& =E_{\tau \sim \bar{\pi }(\tau )}[\frac{\pi (\tau )}{\bar{\pi }(\tau )}r(\tau )]\\ & =E_{\tau \sim \bar{\pi }(\tau )}[\frac{p(s_1){\prod }_{t=1}^T{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)}{p(s_1){\prod }_{t=1}^T{\bar{\pi }}_{{\theta }^{{}^{\prime }}}(a_t|s_t)p(s_{t+1}|s_t,a_t)}r(\tau )]\\ & =E_{\tau \sim \bar{\pi }(\tau )}[\prod _{t=1}^T\frac{{\pi }_{\theta }(a_t|s_t)}{{\bar{\pi }}_{{\theta }^{{}^{\prime }}}(a_t|s_t)}r(\tau )]\end{array}$$
• 说明：$\bar{\pi }(\tau )$为以前的策略轨迹分布，重用过去轨迹时，给每一个轨迹加上一个权重来衡量，更新后轨迹分布与上一步的轨迹分布差异，如果差异小，则$\frac{\pi (\tau )}{\bar{\pi }(\tau )}$接近1，可重用上一步的轨迹样本。
• $$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =E_{\tau \sim \bar{\pi }(\tau )}[\frac{\nabla \pi (\tau )}{\bar{\pi }(\tau )}r(\tau )]\\ & =E_{\tau \sim \bar{\pi }(\tau )}[\frac{\pi (\tau )\nabla log\pi (\tau )}{\bar{\pi }(\tau )}r(\tau )]\\ & =E_{\tau \sim \bar{\pi }(\tau )}[\prod _{t=1}^T\frac{{\pi }_{\theta }(a_t|s_t)}{{\bar{\pi }}_{{\theta }^{{}^{\prime }}}(a_t|s_t)}r(\tau )[\sum _{t=1}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)]]\\ & =E_{\tau \sim \bar{\pi }(\tau )}\left[\right[\sum _{t=1}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)]\prod _{t^{\prime }=1}^t\frac{{\pi }_{\theta }(a_{t^{\prime }}|s_{t^{\prime }})}{{\bar{\pi }}_{{\theta }^{{}^{\prime }}}(a_{t^{\prime }}|s_{t^{\prime }})}[\sum _{t^{\prime }=t}^{T}r(s_{t^{\prime }},a_{t^{\prime }})]\prod _{t^{\prime \prime }=t}^{t^{\prime }}\frac{{\pi }_{\theta }(a_{t^{\prime \prime }}|s_{t^{\prime \prime }})}{{\bar{\pi }}_{{\theta }^{{}^{\prime \prime }}}(a_{t^{\prime }}|s_{t^{\prime \prime }})}]\end{array}$$
• $$\begin{gathered} 记\frac{{\pi }_{\theta }(a_{i,t}|s_{i,t})}{{\bar{\pi }}_{{\theta }^{\prime }}(a_{i,t}|s_{i,t})}=\prod _{t^{\prime }=1}^t\frac{{\pi }_{\theta }(a_{i,t^{\prime }}|s_{i,t^{\prime }})}{{\bar{\pi }}_{{\theta }^{{}^{\prime }}}(a_{i,t^{\prime }}|s_{i,t^{\prime }})} \\ 故{\nabla }_{\theta }J(\theta )\approx \frac{1}{N}\sum _{i=1}^N\sum _{t=1}^T\frac{{\pi }_{\theta }(a_{i,t}|s_{i,t})}{{\bar{\pi }}_{{\theta }^{\prime }}(a_{i,t}|s_{i,t})}{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t){\hat{Q}}_{i,t} \end{gathered}$$

二、执行者-评估者 (Actor-Critic)

• Policy Gradient直接从估计目标梯度入手，Actor-Critic则是通过评估当前的策略(Policy Evaluation)，再往比当前策略好的方向进行更新(Policy Improvement)。Actor的作用为policy的执行者即图上第一步run the policy，Critic的作用为policy的评估者即图上第二步fit a model，而图上第三部improve the policy 可理解成一个learner，从Critic身上寻找一种学习机制来improve policy再交给actor执行。

2.1 优势函数$A^{\pi }(s_t,a_t)$（Advantage Function）

---

• 值函数

  • $$V^{\pi }(s_t)=\sum _{t^{\prime }=t}^T{E}_{\tau \sim {\pi }_{\theta }(\tau )}[r(s_{t^{\prime }},a_{t^{\prime }})|s_t]$$

  • $$\begin{array}{rl}{Q}^{\pi }(s_t,a_t)& =\sum _{t^{\prime }=t}^T{E}_{\tau \sim {\pi }_{\theta }(\tau )}[r(s_{t^{\prime }},a_{t^{\prime }})]\\ & =E_{a_t\sim {\pi }_{\theta }(a_t|s_t)}[V^{\pi }(s_t)]\\ & =E_{a_t\sim {\pi }_{\theta }(a_t|s_t)}[E_{s_t\sim {\pi }_{\theta }(s_t)}[\sum _{t^{\prime }=t}^{T}r(s_{t^{\prime }},a_{t^{\prime }})]]\end{array}$$

  • 说明：$V^{\pi }(s_t)$表示服从当前策略${\pi }_{\theta }$，初始状态为$s_t$时，可以获得的总回报；$Q^{\pi }(s_t,a_t)$表示服从当策略${\pi }_{\theta }$，初始状态为$s_t$，选择动作为$a_t$时，可以获得的总回报，抽象可理解为对当前的状态或状态-动作下了一个价值判断，当V,Q知道时，便可从价值判断中选择Value最高的state或action，便于从价值判断中直接得到策略。

• 优势函数
  $$\begin{array}{rl}{A}^{\pi }(s_t,a_t)& =Q^{\pi }(s_t,a_t)-V^{\pi }(s_t)\\ & \approx r(s_t,a_t)+\sum _{t^{\prime }=t+1}^T{E}_{{\pi }_{\theta }}[r(s_{t^{\prime }},a_{t^{\prime }})]-V^{\pi }(s_t)\\ & =r(s_t,a_t)+V^{\pi }(s_{t+1})-V^{\pi }(s_t)\end{array}$$
  • 说明：优势函数=状态动作值-状态值，衡量的是动作好的趋势究竟有多好，类似于在状态$s_t$下各Q值减去一下各动作平均值的一个标准化操作，通过近似的方式变成监督信号reward+时间差分TD error，因此为了得到目标梯度${\nabla }_{\theta }J(\theta )$，只需要估计状态价值$V^{\pi }(s_t)$即可。

2.2 拟合值函数$V^{\pi }(s)$

---

2.2.1 基于蒙特卡洛采样的策略评估 （Monte-Carlo Policy Evaluation)

• $V^{\pi }(s_t)$最简单的估计方式：
  $$\begin{gathered} V^{\pi }(s_t)\approx \sum _{t^{\prime }=t}^{T}r(s_{t^{\prime }},a_{t^{\prime }}) \\ {V}^{\pi }(s_t)\approx \frac{1}{N}\sum _{i=1}^N\sum _{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }}) \end{gathered}$$
• 近似的估计方式：训练集 =$\{(s_{i,t},y_{i,t})\},i=1,...,N，t=1,...,T$
  $$\begin{gathered} y_{i,t}=\sum _{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }}) \\ L(\varphi )=\frac{1}{2}\sum _{i=1}^N||{\hat{V}}_{\varphi }^{\pi }(s_i)-y_i|{|}^2 \end{gathered}$$
  
  • 说明
  1. actor执行policy得到一些trajectory samples
  2. 以上述方式选择一个模型，拟合${\hat{V}}_{\varphi }^{\pi }(s)$
  3. 利用${\hat{V}}_{\varphi }^{\pi }(s)$，计算各轨迹样本的优势函数${\hat{A}}^{\pi }(s_i,a_i)$
  4. 计算目标梯度$\nabla J(\theta )$
  5. 更新policy梯度

2.2.2 基于自举拟合值函数 （Bootstrapped）

$$y_{i,t}=r(s_{i,t},a_{i,t})+{\hat{V}}_{\varphi }^{\pi }(s_{i,t+1})$$

2.2.3 拟合目标值小总结(Target Value Summary)

$$\begin{gathered} IdealTarget:y_{i,t}=\sum _{t^{\prime }=t}^T{E}_{{\pi }_{\theta }}[r(s_{i,t^{\prime }},a_{i,t^{\prime }})] \\ MCTarget:y_{i,t}=\sum _{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }}) \\ BootstrappedTarget:y_{i,t}=r(s_{i,t},a_{i,t})+\gamma {\hat{V}}_{\varphi }^{\pi }(s_{i,t+1}) \end{gathered}$$

2.3 Actor-Critic综合改进版

$$\nabla J(\theta )\approx \frac{1}{N}\sum _{i=1}^N\sum _{t=1}^T\frac{{\pi }_{\theta }(a_{i,t}|s_{i,t})}{{\bar{\pi }}_{{\theta }^{\prime }}(a_{i,t}|s_{i,t})}{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})A_n^{\pi }(s_{i,t},a_{i,t})$$

• 折扣因子discount factor $\gamma =0.99$
  $A^{\pi }(s_{i,t},a_{i,t})={\sum }_{t^{\prime }=t}^T{\gamma }^{t^{\prime }-t}r(s_{i,t^{\prime }},a_{i,t^{\prime }})$
  $A^{\pi }(s_{i,t},a_{i,t})\approx r(s_{i,t},a_{i,t})+\gamma {\hat{V}}_{\varphi }(s_{i,t+1})$
• 基准 baselines
  $A^{\pi }(s_{i,t},a_{i,t})={\sum }_{t^{\prime }=t}^T{\gamma }^{t^{\prime }-t}r(s_{i,t^{\prime }},a_{i,t^{\prime }})-{\hat{V}}_{\varphi }(s_{i,t})$
  $A^{\pi }(s_{i,t},a_{i,t})\approx r(s_{i,t},a_{i,t})+\gamma {\hat{V}}_{\varphi }(s_{i,t+1})-{\hat{V}}_{\varphi }(s_{i,t})$
• n-step 回报（n=1时为bootstrapped）
  $A_n^{\pi }(s_{i,t},a_{i,t})\approx {\sum }_{t^{\prime }=t}^{t+n}{\gamma }^{t^{\prime }-t}r(s_{t^{\prime }},a_{t^{\prime }})+{\gamma }^n{\hat{V}}_{\varphi }^{\pi }(s_{t+n})-{\hat{V}}_{\varphi }^{\pi }(s_t)$
• 说明：折扣因子的加入使得无限长（Infinite Horizon）的Trajectory得以处理，且与GAE（General Advantage Estimation）的效果相同。

三、基于值函数的方法(Value-based Methods)

• 说明：基于值函数的方法，是希望在迭代过程中绕过目标梯度${\nabla }_{\theta }J(\theta )$来更新策略这一步，尝试直接通过值迭代得到最优策略${\pi }^{\ast }$的值函数$V^{\ast }(s)$或$Q^{\ast }(s,a)$，从值函数中得到策略。

---

3.1 策略迭代（Policy Iteration）

1. 评估优势函数$A^{\pi }(s,a)$（Policy Evaluation）
   $$\begin{array}{rl}{A}^{\pi }(s,a)& =Q^{\pi }(s,a)-V^{\pi }(s,a)\\ & =r(s,a)+\gamma E_{s^{\prime }\sim p(s^{\prime }|s,a)}[V^{\pi }(s^{\prime })]-V^{\pi }(s)\\ & \approx r(s,a)+\gamma V^{\pi }(s^{\prime })-V^{\pi }(s)\end{array}$$
2. 根据$A^{\pi }(s,a)$得出好的${\pi }^{\prime }$，比如下面的式子（Policy Improvement）
   $${\pi }^{\prime }=argma{x}_a{A}^{\pi }(s,a),\pi \leftarrow {\pi }^{\prime }$$

• 说明：策略迭代PI主要分为Policy Evaluation与Policy Improvement两大步，其中第一步需要用到与环境交互得到的样本来估计优势函数，第二步需要可选择性提升动作值或动作的概率分布，而与环境交互时需要遵循设定Exploration与Exploitation的原则进行，避免探索不到高奖励的样本。

3.2 值迭代（Value Iteration）

Policy Evaluation :
$$V^{\pi }(s)\leftarrow E_{a\sim \pi (a|s)}[r(s,a)+\gamma E_{s^{\prime }\sim p(s^{\prime }|s,a)}[V^{\pi }(s^{\prime })\left]\right]$$
选择一个action $a$
$$Q^{\pi }(s,a)\leftarrow r(s,a)+\gamma E_{s^{\prime }\sim p(s^{\prime }|s,a)}[V^{\pi }(s^{\prime })]$$

1. 评估$Q^{\pi }(s,a)$，根据上式评估Q值
2. 令$V^{\pi }(s)\leftarrow ma{x}_a{Q}^{\pi }(s,a)$
   

• 说明：第一步对Q值函数的更新，主要用到了环境的dynamics即$p(s^{\prime }|s,a)$，第二步简单地将最大的Q值当作状态价值，从而构成迭代链条，问题在于环境dynamics一般情况下是未知的。

3.3 拟合的值迭代（Fitted Value Iteration）

• 说明：除了迭代状态值$V_{\varphi }^{\pi }(s)$，还可以直接迭代Q值$Q_{\varphi }^{\pi }(s,a)$。Fitted Value Iteration比Value Iteration更stable，但不能on-policy，两者均使用了环境的dynamics模型，如果dynamics未知，则需要用到Q值迭代。

3.4 拟合的Q值迭代（Fitted Q-iteration）

• Fitted Q-iteration
  
• online Q-learning (online Q-iteration)
• 说明：两者对于dynamics的部分，均采用$ma{x}_{a^{\prime }}{Q}_{\varphi }(s_i^{\prime },a_i^{\prime })$来代替$E_{s^{\prime }\sim p(s^{\prime }|s,a)}[V_{\varphi }(s^{\prime })]$，因此都在此损失了一定精度。而full fitted Q-iteration可以off-policy，拟合的Q值也更为稳定，online Q-learning收集一个样本，更新一次Q值的梯度，非常不稳定，而且使用Non-linear的Function Approximater时，理论上不保证收敛。如何使online Q-learning更适用于实际问题，可参考第四章的改进。

3.5 小总结（Summary）

• Policy Iteration更为general，当PI（Policy Improvement）为${\pi }^{\prime }=\mathrm{argmax}{Q}^{\pi }(s,a)$时，退化为Value Iteration，为Value-based；当PI为gradient ascent时，为Actor-Critic；当估计Q值，并采用梯度更新，限制更新步长时为Advanced Policy Gradient。
• Value Iteration中遇到的环境dynamics在Q-iteration中被克服，付出损失理论收敛的代价，fitted的值比gradient更新的值更加稳定。

四、基于Q值函数的方法(Q-Value based Methods)

4.1 针对Q值迭代的改进方法

存在两个问题：

1. 第一步中一个轨迹的样本之间高度相关，应该打乱处理，使用不同轨迹的样本估计。（解决方案：经验池回放）
2. 第三步中的目标值$y_i$每次更新都变动，而且没有通过目标值的梯度更新。 （解决方案：目标网络）

4.1.1 经验池回放（Replay Buffer）

要点：存放一些样本，在线更新时收集存放在经验池中，每次更新时从Replay Buffer中采样。

4.1.2 目标网络 （Target Network）

#要点：用一个新的Q值网络$Q_{{\varphi }^{\prime }}(s_i^{\prime },a_i^{\prime })$来代替目标值，使其一定时间内不发生变动，一段时间后更新目标网络参数${\varphi }^{\prime }\leftarrow \varphi$。

4.2 基于Q-learning的三种形态

4.2.1 Online Q-learning

4.2.2 DQN(N=1,K=1)

4.2.3 Fitted Q-learning

4.2.4 A Brief Summary

4.3 Q值深度网络的有效改进 (Practical Tips)

4.3.1 Double Q-learning

要点：动作选取从目标网络切换到原策略网络。

4.3.2 N-step Returns

$$y_{j,t}=\sum _{t^{\prime }=t}^{t+N-1}{\gamma }^{t-t^{\prime }}{r}_{j,t^{\prime }}+{\gamma }^{N}ma{x}_{a_{j,t+N}}{Q}_{{\varphi }^{\prime }}(s_{j,t+N},a_{j,t+N})$$

4.3.3 Dueling Structure

要点：第一个图中一般使用一个网络来拟合$Q^{\pi }(s,a)$，在结构中分成拟合$V^{\pi }(s)$与动作优势$A^{\pi }(s,a)$，得到$Q^{\pi }(s,a)=A^{\pi }(s,a)+V^{\pi }(s)$，可参考下面一篇论文。
Dueling Network Architectures for Deep Reinforcement Learning

Double DQN具体算法例子

4.4 连续动作的Q-learning (Continuous action）

上述提到的Q-learning是适合离散动作的，这样$Q^{\pi }(s,a)$才好迭代表示，那对于连续动作，具体问题出现在max上，有如下三种方法处理。

4.4.1 随机优化（Stochastic Optimization）

随机优化主要思想，就是从模型中选择一些参数组合，设定一个评价指标，然后从参数组合中选出使评价指标最优的参数。如进化策略（Evolution Strategy）中最好的算法CMA-ES（Covariance Matrix Adaptation-Evolution Strategy)，可从IGO(Information Geometric Optimization）求natural gradient得到。无梯度方法一般比有梯度需要的样本或计算量大，CMA-ES在中等规模（变量个数大约在 3-300范围内）的复杂优化问题上具有很好的效果。除此之外，进化策略可作为深度强化学习算法一个额外的、良好的可扩展算法，具体可参见下面两篇论文。

Evolution Strategies as a Scalable Alternative to Reinforcement Learning 2017

The CMA-ES: A Tutorial 2016

4.4.2 使用易于优化的函数类型 (Easy to optimize)

将Q函数以某种易于优化的方式代替，使用NAF（Normalize Advantage Function）使其适用于连续动作。具体NAF在连续Deep Q-Learning的细节可参考下面一篇ICML 2016的论文。

Continuous Deep Q-Learning with Model-based Acceleration 2016

4.4.3 学习一个新的执行者 (Learn A Second Actor)

弄一个新的actor如$\mu (s)$，来代替max对象，使actor与policy协同更新。
$$\begin{gathered} {\mu }_{\theta }(s)\approx argma{x}_a{Q}_{\varphi }(s,a) \\ ma{x}_a{Q}_{\varphi }(s,a)=Q_{\varphi }(s,argma{x}_a{Q}_{\varphi }(s,a)) \end{gathered}$$

Continuous Control With Deep Reinforcement Learning

五、优化策略梯度(Advanced Policy Gradient)

目的：从目标函数$J(\theta )$入手，希望找到一个更好的$J({\theta }^{\prime })$，使$J({\theta }^{\prime })-J(\theta )\ge 0$，且两者之间距离越大越好。
已知$J(\theta )=E_{\tau \sim p_{\theta }(\tau )}[{\sum }_t{\gamma }^{t}r(s_t,a_t)]=E_{s_0\sim p_{\theta }(s_0)}[V(s_0)]$
所以有：
$$\begin{array}{rl}J({\theta }^{\prime })-J(\theta )& =J({\theta }^{\prime })-E_{s_0\sim p_{\theta }(s_0)}[V^{{\pi }_{\theta }}(s_0)](1)\\ & =J({\theta }^{\prime })-E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}[V^{{\pi }_{\theta }}(s_0)](2)\\ & =J({\theta }^{\prime })-E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}[\sum _{t=0}^{\infty }{\gamma }^t{V}^{{\pi }_{\theta }}(s_t)-\sum _{t=1}^{\infty }{\gamma }^t{V}^{{\pi }_{\theta }}(s_t)]\\ & =J({\theta }^{\prime })-E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(\gamma V^{{\pi }_{\theta }}(s_{t+1})-V^{{\pi }_{\theta }}(s_t)])]\\ & =E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t)]-E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(\gamma V^{{\pi }_{\theta }}(s_{t+1})-V^{{\pi }_{\theta }}(s_t)])]\\ & =E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}\left[\sum _{t=0}^{\infty }{\gamma }^t\right(r(s_t,a_t)+\gamma V^{{\pi }_{\theta }}(s_{t+1})-V^{{\pi }_{\theta }}(s_t)\left)\right]\\ & =E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}[\sum _{t=0}^{\infty }{\gamma }^t{A}^{{\pi }_{\theta }}(s_t,a_t)]\\ & =\sum _{t=0}^{\infty }{E}_{s_t\sim p_{{\theta }^{\prime }}(s_t)}\left[E_{a_t\sim {\pi }_{{\theta }^{\prime }}(a_t|s_t)}\right[{\gamma }^t{A}^{{\pi }_{\theta }}(s_t,a_t)\left]\right](3)\\ & =\sum _{t=0}^{\infty }{E}_{s_t\sim p_{{\theta }^{\prime }}(s_t)}\left[E_{a_t\sim {\pi }_{\theta }(a_t|s_t)}\right[\frac{{\pi }_{{\theta }^{\prime }}(a_t|s_t)}{{\pi }_{\theta }(a_t|s_t)}{\gamma }^t{A}^{{\pi }_{\theta }}(s_t,a_t)\left]\right](4)\\ & \approx \sum _{t=0}^{\infty }{E}_{s_t\sim p_{\theta }(s_t)}\left[E_{a_t\sim {\pi }_{\theta }(a_t|s_t)}\right[\frac{{\pi }_{{\theta }^{\prime }}(a_t|s_t)}{{\pi }_{\theta }(a_t|s_t)}{\gamma }^t{A}^{{\pi }_{\theta }}(s_t,a_t)\left]\right](5)\\ & =\bar{A}({\theta }^{\prime })\end{array}$$
（1）到（2）：$s_0\sim p_{\theta }(s_0)$表示在$\theta$下的初始状态分布与${\theta }^{\prime }$下的初始状态分布相同，即与轨迹的初始状态分布相同，即 $\tau \sim p_{{\theta }^{\prime }}(\tau )$
（3）到（4）：重要性采样（Importance Sampling）
于是我们的目的就变成如下：
$${\theta }^{\prime }\leftarrow \underset{{\theta }^{\prime }}{\mathrm{argmax}}\bar{A}({\theta }^{\prime })\approx J({\theta }^{\prime })-J(\theta )$$
如何使(5)中的近似尽可能成立呢？这需要新的policy ${\pi }_{{\theta }^{\prime }}(a_t|s_t)$与旧的policy ${\pi }_{\theta }(a_t|s_t)$靠得很近的话，就有$p_{{\theta }^{\prime }}(s_t)\approx p_{\theta }(s_t)$，相当于加了一个约束$|p_{{\theta }^{\prime }}(s_t)-p_{\theta }(s_t)|\le ϵ$等价于$|{\pi }_{{\theta }^{\prime }}(a_{}$