强化学习（四）—— Actor-Critic

1. 网络结构

• 状态价值函数：
  $$V_{\pi }(s_t)=\sum _a{Q}_{\pi }(s_t,a)\cdot \pi (a|s_t)$$

• 通过策略网络近似策略函数:
  $$\pi (a|s)\approx \pi (a|s;\theta )$$
  

• 通过价值网络近似动作价值函数:
  $$q(s,a;W)\approx Q(s,a)$$
  

• 神经网络近似后的状态价值函数:
  $$V(s;\theta ,W)=\sum _{a}q(s,a;W)\ast \pi (a|s;\theta )$$

• 通过对策略网络不断更新以增加状态价值函数值。

• 通过对价值网络不断更新来更好的预测所获得的回报。

2. 网络函数

Policy Network

• 通过策略网络近似策略函数
  $$\pi (a|s_t)\approx \pi (a|s_t;\theta )$$
• 状态价值函数及其近似
  $$V_{\pi }(s_t)=\sum _a\pi (a|s_t)Q_{\pi }(s_t,a)$$
  $$V(s_t;\theta )=\sum _a\pi (a|s_t;\theta )\cdot Q_{\pi }(s_t,a)$$
• 策略学习最大化的目标函数
  $$J(\theta )=E_S[V(S;\theta )]$$
• 依据策略梯度上升进行
  $$\theta \leftarrow \theta +\beta \cdot \frac{\partial V(s;\theta )}{\partial \theta }$$

2. 策略网络的更新-策略梯度

Policy Network

• 策略梯度为：
  $$\begin{gathered} g(a,\theta )=\frac{\partial ln\pi (a|s;\theta )}{\partial \theta }\cdot q(s,a;W) \\ \frac{\partial V(s;\theta ,W)}{\partial \theta }=E[g(A,\theta )] \end{gathered}$$
• 可采用随机策略梯度，（无偏估计）
  $$\begin{gathered} a\sim \pi (\cdot |s_t;\theta ) \\ {\theta }_{t+1}={\theta }_t+\beta \cdot g(a,{\theta }_t) \end{gathered}$$

3. 价值网络的更新-时序差分（TD）

• TD的目标：
  $$y_t=r_t+\gamma q(s_{t+1},a_{t+1};W_t)$$
• 损失函数为：
  $$loss=\frac{1}{2}[q(s_t,a_t;W_t)-y_t{]}^2$$
• 采用梯度下降进行更新：
  $$W_{t+1}=W_t-\alpha \cdot \frac{\partial loss}{\partial W}{|}_{W=W_t}$$

4. 网络训练流程

一次更新中，Agent执行一次动作，获得一次奖励。

1. 获得状态s_t并随机采样动作：$$a_t\sim \pi (\cdot |s_t;\theta )$$
2. Agent执行动作，并获得环境的新状态和奖励：$$\begin{gathered} s_{t+1} \\ {r}_t \end{gathered}$$
3. 依据新状态再次随机采样动作（该动作在本次迭代中并不执行）：$${\tilde{a}}_{t+1}\sim \pi (\cdot |s_{t+1};\theta )$$
4. 依据价值网络，分别计算两个动作和状态的价值：$$\begin{gathered} q_t=q(s_t,a_t;W_t) \\ {q}_{t+1}=q(s_{t+1},{\tilde{a}}_{t+1};W_t) \end{gathered}$$
5. 计算TD误差：$${\delta }_t=q_t-(r_t+\gamma q_{t+1})$$
6. 计算价值网络的导数：$$d_{W,t}=\frac{\partial q(s_t,a_t;W)}{\partial W}{|}_{W=W_t}$$
7. 对价值网络进行梯度更新：$$W_{t+1}=W_t-\alpha \cdot {\delta }_t\cdot d_{W,t}$$
8. 计算策略网络的梯度：$$d_{\theta ,t}=\frac{\partial ln[\pi (\cdot |s_t;\theta )]}{\partial \theta }{|}_{\theta ={\theta }_t}$$
9. 对策略网络进行梯度更新,式（2）为式（1）对动作价值函数值使用了baseline，目标函数的期望一致，但是方差减小，网络更容易收敛。$$\begin{gathered} {\theta }_{t+1}=\theta +\beta \cdot q_t\cdot d_{\theta ,t} \\ {\theta }_{t+1}=\theta +\beta \cdot {\delta }_t\cdot d_{\theta ,t} \end{gathered}$$

3. 案例

目前没有好的方法近似动作价值函数，则未撰写案例。

本文部分内容为参考B站学习视频书写的笔记！

by CyrusMay 2022 03 29