David Silver UCL强化学习课程学习笔记六之Value Function Approximation 值函数估计

Lecture 6: Value Function Approximation
https://www.davidsilver.uk/wp-content/uploads/2020/03/FA.pdf

Introduction

不同种类的值函数估计 从左到右分别是状态值函数，动作值函数act-in和动作值函数act-out

Incremental Methods 增量方法

核心思想：利用梯度下降的方法找到一组变量使得值函数的估计值与真实值之间的均方误差最小，即J（w）最小。在lecture4中就有将一般的均值求取变为增量式求取的方法（MC），这里的思路类似。

MC值函数估计

TD值函数估计

TD（λ）值函数估计

增量控制算法

bootsrap是第四章出现的名词，大概意为某个状态的价值更新用了其他状态的值，而并非只是用总回报。我们知道MC不是bootstrap的，TD和TD（λ）则都是bootstrap的。

prediction收敛性分析

梯度TD 梯度Q学习在查表、线性和非线性下的收敛性分析。

Batch Methods 批方法

批处理方法意在根据训练数据的经验寻求找到最佳拟合值函数。

要优化的代价函数LS最小二乘法。

基于经验的DQN

线性条件下LS算法的收敛性分析。