强化学习——梯度策略求最佳policy

文章目录

  • 前言
  • 1 Machine Learning
  • 2 Three Steps for Deep Learning
  • 3 Goodness of Actor:
  • 4 Gradient Ascent
  • 5 Add a Baseline


前言

前面我们讲了强化学习的一些入门知识,我现在又整理些强化学习的笔记,主要是参考台湾大学李宏毅老师讲的强化学习系列。这一篇主要是介绍value-based reinforcement learning approach,讲到了利用梯度上升找到一个最好的actor。

1 Machine Learning

≈ Looking for a Function

在这里插入图片描述

2 Three Steps for Deep Learning

在这里插入图片描述

Deep Learning is so simple ……
在这里插入图片描述

3 Goodness of Actor:

Total Loss:
在这里插入图片描述
Find the network parameters ∗ that minimize total loss L
Training Example:
在这里插入图片描述
•Given an actor  (s) with network parameter
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4 Gradient Ascent

•Problem statement
在这里插入图片描述
•Gradient ascent
在这里插入图片描述
do not have to be differentiable It can even be a black box.
在这里插入图片描述

(|)=?
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5 Add a Baseline

在这里插入图片描述

你可能感兴趣的:(强化学习,机器学习,强化学习,深度学习)