《强化学习》学习笔记3——策略学习

目标函数

        策略学习的目的是获得一个尽可能优的策略函数，使得的这个策略函数在能够取得尽可能大的未来累计回报。我们需要构建一个模型去描述这个策略函数，在训练模型的过程中，需要有一个评价函数来量化评价策略函数的好坏，同时评价结果的反馈可以用于策略函数模型的参数修正。

策略函数

我们可以用模型来近似策略函数, 其中为模型参数。

状态价值函数

其中在上篇笔记中有介绍，表示在当前策略函数下能够获得的未来累计回报的期望。

状态价值用于评价在当前策略函数和当前状态下，能够获得的未来累计回报的期望，为什么是期望？因为这里策略的函数是一个概率分布函数。这样的话，因为当前状态是可以确定的，策略函数越优化，状态价值函数就会越大。所以模型的学习目标可以转化为：求一个尽可能大的。

用神经网络近似状态价值函数

其中是网络参数。

和当前状态s有关，s的值是具有随机性的，所以我们可以对关于S求期望，得到：

我们期望的值最大，所以策略网络的目标就是：

策略梯度算法

        有了策略网络的目标函数，我们就需要对网络进行训练，以期获得一个表现较佳的模型。训练神经网络一般都是采用梯度下降算法，因为一般神经网络的优化目标都是一个凹函数，而这里恰恰相反，这里的目标函数是一个凸函数，我们期望获得尽可能大的目标值。所以这里采用梯度上升算法：

这里有两个问题：

（1）为什么是加上梯度？

        这个和梯度的定义有关，梯度代表的是函数值增加的方向，所以梯度下降的时候，加的是梯度的负值，即梯度的反方向；梯度上升的时候，为了使得目标值变大，所以取的是梯度的正方向，所以加上梯度。

（2）为什么不是对前面提到的目标函数求导 ？

        我的理解是，因为在真实环境中随机变量S的分布也可能是未知的，需要网络从数据中去学习，所以关于S求积分可能是不具备可操作性。这里对求导，因为s是一个观测值，在经过尽可能多次观测之后，最终多次梯度的累计也会近似于期望的梯度。 

梯度公式推导

        因为状态价值函数的定义如下：

这里做了一个近似假设，假设与无关，同时由于a和无关，可以先求导再做积分，则有：

实际上根据定义这里和有关，而是关于的函数，所以上面的推导在数学上并不严谨。为什么能做这样的近似假设呢？因为在实际网络模式构建的时候，和可以是两个不同的网络，即两套不同的参数，所以在这情况下假设与无关是没问题的，这里是对问题进行的一个简化。

策略梯度的计算

（1）离散的动作

        当动作是离散的时候，我们就可以把所有动作穷举所有的动作，每一个动作具有一个梯度，将所有动作的梯度累加起来。

(2) 动作是一个连续量

        当动作是一个连续量，我们就无法穷举出所有的动作了。这时候就需要关于动作做积分。这时就需要用到上面公式推导中第(4)个公式了。

需要求得梯度值，需要关于A求期望，A和有关，但是实际上由于函数很复杂，很难求得一个推导出一个期望的具体公式。所以我们退而求其次，去求解公式的数值解。由于这里涉及到很多随机变量，所以采用蒙特卡洛方法求解数值解。

1. 根据函数对A进行随机抽样，抽样结果记为;
2. 令, 很明显，，所以是的无偏估计，所以计算出的值就得到了策略梯度，这里的梯度是统计近似梯度。

算法步骤

1. 观测当前状态;
2. 根据函数对下一步动作做随机抽样；
3. 计算;
4. 把带入计算当前的值，记为d；
5. 近似梯度；
6. 最后用近似梯度去更新神经网络参数：.

如何计算

        前面算法步骤中步骤3需要计算，但是到目前为止我们并不知道这个函数的具体形式。有两种方法可以计算.

（1）方法1

        因为, 所以我们可以等游戏结束之后，用的观测值来代替。这种情况下需要游戏结束之后才能对网络参数进行调整。

（2）方法2

        用另外一个神经网络来近似, 用神经网络的预测值来计算策略网络的梯度。

注意：这里是, 而价值学习中的学习目标是

策略学习和价值学习的差异

         个人觉得，价值学习需要动作是可穷举的，而策略学习中动作却可以是一个连续量。其他差异点的话，得等后续再深入理解之后再补充了。

参考

深度强化学习基础：策略学习_哔哩哔哩_bilibili

基于策略和基于价值的强化学习方法有什么区别? - 知乎

梯度算法之梯度上升和梯度下降_搜索与推荐Wiki的博客-CSDN博客_梯度上升