李宏毅强化学习视频学习笔记(二)——off-policy与重要度采样

 重要度采样是为了解决PG算法采样数据只是用一次造成数据浪费的情况或者策略P不易采样的状况。重要度采样使得从策略Q中采集到的样本,经过权重的计算修正得到策略P的样期望。李宏毅强化学习视频学习笔记(二)——off-policy与重要度采样_第1张图片

也就是说我们需要在原来的函数那里乘以一个权重来进行修正

李宏毅强化学习视频学习笔记(二)——off-policy与重要度采样_第2张图片

 

 虽然我们可以通过权重修正使得两个期望值相等,但是会发现遵循两个分布分样本方差很大,这就说明我们需要充分采样才可以保证数据的可用性。

结合PG算法的公式,我们可以得到下式

李宏毅强化学习视频学习笔记(二)——off-policy与重要度采样_第3张图片

 由于对于两个策略来说差异不能很大,因此状态s出现的概率差异不是很大,或者也可以理解说s出现的概率不好表示,因此我们去除掉

李宏毅强化学习视频学习笔记(二)——off-policy与重要度采样_第4张图片

依据公式

我们可以得到梯度更新的函数为

李宏毅强化学习视频学习笔记(二)——off-policy与重要度采样_第5张图片

回到当初的PG算法,梯度是用于策略更新的▽R,我们的目标是需要使得R最大化,因此我们的目标函数可以写成下式: 

李宏毅强化学习视频学习笔记(二)——off-policy与重要度采样_第6张图片

 但是由于θ是不断更新的,我们又需要θ与θ'不要差太多,因此不能无休止地使用θ'需要及时地对两个策略进行调整,这就延申出了PPO

 

你可能感兴趣的:(强化学习,学习日志,学习,机器学习,python)