强化学习（三）-策略梯度优化policy Gradient

直接优化策略梯度而不是优化Q函数来指导agent做决策

1 基本概率

• 策略 policy: $\pi (a|s)$
• 状态价值函数
  $V_{\pi }(s_t)=E_A[Q_{\pi }(s_t,A)]$
  $V_{\pi }(s_t)={\sum }_a\pi (a|s)\ast Q_{\pi }(s_t,A)$

2 目标最大化$V_{\pi }(s_t)$

• 策略梯度 policy gradient
  $\frac{\partial V_{\pi }(s)}{\partial \theta }=E_{A～\pi }[\frac{\partial In\pi (A|s;\theta )}{\partial \theta }\ast Q_{\pi }(s,A)]$

3 添加baseline

如下添加一个b，和动作A是独立，不随A的变化而变化。
$E_{A～\pi }[b\ast \frac{\partial In\pi (A|s;\theta )}{\partial \theta }]$

3.1 baseline的梯度为0证明

由于b独立于A
$E_{A～\pi }[b\ast \frac{\partial In\pi (A|s;\theta )}{\partial \theta }]$
=$b\ast E_{A～\pi }[\frac{\partial In\pi (A|s;\theta )}{\partial \theta }]$
=$b\ast {\sum }_a\pi (a|s;\theta )\frac{\partial In\pi (a|s;\theta )}{\partial \theta }$
=$b\ast {\sum }_a\pi (a|s;\theta )\frac{1}{\pi (a|s;\theta )}\frac{\partial \pi (a|s;\theta )}{\partial \theta }$
=$b\ast {\sum }_a\frac{\partial \pi (a|s;\theta )}{\partial \theta }$
=$b\ast \frac{\partial 1}{\partial \theta }$
=0

即证: $E_{A～\pi }[b\ast \frac{\partial In\pi (A|s;\theta )}{\partial \theta }]=0$

4 策略梯度添加baseline

• 策略梯度 policy gradient

$\frac{\partial V_{\pi }(s)}{\partial \theta }=E_{A～\pi }[\frac{\partial In\pi (A|s;\theta )}{\partial \theta }\ast Q_{\pi }(s,A)]-E_{A～\pi }[b\ast \frac{\partial In\pi (A|s;\theta )}{\partial \theta }]$
= $E_{A～\pi }[\frac{\partial In\pi (A|s;\theta )}{\partial \theta }\ast (Q_{\pi }(s,A)-b)]$

5 蒙特卡洛计算策略梯度

随机从策略policy $\pi (a|s)$ 中选择动作a,计算梯度
$g(a_t)=\frac{\partial In\pi (a_t|s_t;\theta )}{\partial \theta }\ast (Q_{\pi }(s_t,a_t)-b)$

6思考 ：b不影响梯度的变化，为什么还要选择b？

因为b虽然不影响梯度的变化，由于我们的Q函数一般是近似的，因此使用一个baseline,能够使采样的数据的方差变小，使估计的数据更准确（相当于对数据做了去均值化）。

7 baseline的选择

baseline的选择有很多种方式，根据不同选择方式，有不同的优化算法。

小结