#David Silver Reinforcement Learning 笔记1#

这节课主要讲了一些基本概念。

强化学习的特点

1. 非监督，只需要一个奖励R
2. 奖励是非即时的
3. agent 的actions 影响它后续的数据

1. Reward

reward hypothesis

所有的目标都可以通过最大化累计奖励的期望来描述。
环境以及agent之间的关系可以通过下面这个图来表示。
agent通过观察，采取action，并最终获得R，环境通过接收到actions，发出observation，并且发出R。

image.png

history 就是到时间t为止，一些列O，R，A 的序列。 State可以说是history的一个函数映射St = f (Ht)。环境有自己的state

image.png

agent观察到的未必就是环境state的全部，也可能之观察到部分。
agent 有自己state

image.png

它可以是histoty的任意函数表达。
马尔科夫性质：现在的状态至于之前一个时刻的状态有关。
环境的state、history都具有马尔科夫性质。

如果agent能观察到环境的所有，那么Ot = 环境的state = agent的state 他们都具有马尔科夫性质（MDP）如果不是，agent只能观察到部分环境状态，那么就是部分可见马尔科夫过程。

2. Agent的主要组成

Policy： agent的决策方程
就是state到action的映射。
确定性的：a = π(s)
随机性的：π(ajs) = P[At = ajSt = s] 以一定的概率映射到各个action上
Value function：在当前状态/动作下会得到怎样的奖励
一个对未来奖励的预测：
vπ(s) = Eπ [Rt+1 + γRt+2 + γ2Rt+3 + ::: j St = s]
Model： agent眼里的环境表示
预测环境下一步将要做出的动作，分为两种：
P 预测下一个状态，R预测下一个即时的奖励是多少

image.png

3. agent的分类

根据agent的组成，可以将agent分成几类，如下图
Model Free 就是没有Model，只有Policy和/或Value Function
Model Based 就是在Model Free的基础上有Model
等

image.png

4. 探索与利用

Reinforcement learning 就是一个试错的学习过程，agent需要不断的优化自己的policy，从它的经验中学习如何尽可能的得到更多的奖励，这当中，agent需要勇敢的试错，因为它并不知道自己得到的是不是最优值。Exploration 就是试错，找到更多可能的路径，这路径未必有好的奖励。Exploitation 就是在已经的环境条件下，最大化自己得到的奖励。

参考：

1. http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching_files/intro_RL.pdf
2. https://chenrudan.github.io/blog/2016/06/06/reinforcementlearninglesssion1.html