David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度

Lecture 7: Policy Gradient Methods
https://www.davidsilver.uk/wp-content/uploads/2020/03/pg.pdf

Introduction

David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第1张图片
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第2张图片
Policy-Based RL的优点:更好的收敛性;在高维或连续动作空间中有效;可以学习随机策略
缺点:通常会收敛到局部最优,而不是全局最优;评估一项政策通常效率低下且差异很大

David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第3张图片
目标函数

David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第4张图片

一般而言,只要出现随机的策略的时候,一般都会比确定性策略效果要好。针对我们的目标函数,我们有如下几种优化方法,基于梯度的和不基于梯度的。

Finite Difference Policy Gradient

David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第5张图片
下面是对softmax policy和gaussian policy的推导
对于score function的推导如下
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第6张图片
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第7张图片
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第8张图片
一步MDPS 推奖励函数的梯度,奖励函数的大导数等于score function × R在侧料π下的期望。
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第9张图片
策略梯度定理,将onestep MDP的奖励R 换成了基于策略π在s,a状态下的q函数。

MC Policy Gradient

David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第10张图片
在无模型的情形下,需要将奖励函数的梯度期望换位采样的估计值。MC需要在每一个episode接受之后,对之一步中所有的函数进行更新,并将回报替换。

Actor-Critic Policy Gradient

David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第11张图片
critic用于估计action-value 函数,actor用于更新策略函数,上述是actor-critic算法的公式。这里AC算法可以降低方差但是是有偏的。

为了消除bias,我们提出了相容函数逼近。
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第12张图片

advantage AC
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第13张图片

TD AC
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第14张图片

Natural AC
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第15张图片

David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度_第16张图片
到此UCL RL公开课学习就告一段落了。有时间的话还是建议去听一听david silver老师的录课视频,每个知识点讲的很细致,学完一遍后对强化学习会有新的认识。 如果你想对深度学习打下一个好的基础,对深度学习想要做研究性工作,坚持看完david silver的视频真的很有帮助。笔者写完这些时对许多问题仍存在疑虑,有精力的话会去再学第二遍。值得一提的是david silver老师课堂节奏把控的很好,听着很舒服。

你可能感兴趣的:(强化学习,强化学习,人工智能)