强化学习基础篇（三十一）策略梯度(3)Actor-Critic算法

强化学习基础篇（三十一）策略梯度(3)Actor-Critic算法

1.引入Baseline

在使用策略梯度方法更新过程中，降低方差的另一种方法是使用baseline。

在REINFORCE算法得到的更新方式为：

其中的是由轨迹产生的回报，具有很高的方差，如果考虑其上减去一个baseline ：

一般而言，baseline的选择可以是回报的期望：

Baseline的引入可以降低方差，但是有baseline不含有参数，所以不会改变更新过程的梯度：

这里的baseline的选择还可以是一个另一个被参数化的函数。

2、Vanilla Policy Gradient算法

通过加入baseline，我们可以得到Vanilla Policy Gradient算法:

image.png

3、使用Critic降低方差

在实际中更新过程的可以使用动作值函数代替，动作值函数作为Critic可以由参数化的函数近似：

所以策略梯度更新可以修改为：

这样就可以形成Actor-Critic算法，其中：

• Actor是策略函数，用于产生动作，其更新过程会根据Critic提供的方向进行策略参数的更新。
• Critic是价值函数，用于评估Actor产生动作的奖励，其更新过程会基于参数更新。Critic相当于会评价通过Actor产生的动作。

如果使用线性函数进行Q函数的近似，然后使用的方法更新Critic的参数，使用PG更新Actor的参数，这样就有简单的QAC算法：

image.png

4、Actor-Critc函数近似

在AC算法中，我们需要维护两组参数，在实现过程中可以由两种网络的设计，一种是分别使用神经网络拟合两组参数，第一组输出价值函数，第二组输出策略。

image.png

另一种方法是让两个输出共享同一个网络：

image.png

5、使用Baseline降低AC的方差

我们到Q函数的形式为：

价值函数为：

如果将价值函数作为一个baseline，可以定义优势函数如下：

这样使用Advantage funtion的策略梯度就为：

使用N-step 近似

我们之前使用的是MC的回报,但也可以使用TD的方法进行更新，或者n-step方法进行更新：

比如：

使用了n-step方法的优势函数可以为：

这里具有低variance，但是高的bias，相反具有高variance，但是低的bias。