李宏毅强化学习笔记【0.强化学习导论】
agent观察（observation即为state）environment
agent对做一些动作（action），影响environment
因为有一些影响，environment给agent一些reward，告诉他是好的影响还是坏的影响
agent要学习，如何采取动作才能让期望的reward最大
有时候reward很稀疏，大部分为0（什么都没发生），只有少数有数值，这是一个困难。
监督：跟着老师学
强化学习：从经验学
通常，环境会有一些随机性
一系列状态和采取的动作，叫一个episode。
reward有延迟。有些动作没有reward，但是会帮助未来得到reward。短期牺牲换来更好的结果。
agent的行为会影响以后看到的东西。所以agent要学会探索没有做过的行为。
value比较老，policy比较新。
policy，学习一个做事情的actor
value，学习一个不做事情，只评价的critic
现在A3C，结合actor和critic
model-based预测未来发现什么事情，一般在棋类游戏中用到。
actor就是一个function，输入observation，输出action。
deep learning
神经网络作为一个actor，就是deep reinforcement learning
给神经网络输入一个向量或者矩阵，输出各个动作的分数（概率），向量的维度是动作的个数。可以选择最大概率的，也可以根据概率选择（概率大的被选择的概率越大，但不一定被选到）。
传统是state和action的表格，穷举，但是数量太大。所以用神经网络，可以一般化。
对于监督的学习，就是用预测和目标比较，有一个loss function，调整网络的参数
，使得loss越小越好。
对于一个actor，网络的参数，actor是
，让去玩游戏
从观察s1开始，决定动作a1，得到reward r1……
总reward
为 t=1...T时刻，rt的求和，要最大化
同一个，每次得到的可能会不同，因为actor和游戏可能存在随机性，所以是一个随机变量
我们要最大化的期望值，越大越好，衡量actor的好坏
τ某一种游戏过程，有很多情况。选择一个actor后，有一些τ可能会出现，有一些τ不太容易出现。P(τ|)，在某个参数下actor的，出现τ的概率。
用玩n次游戏。得到求平均。
选一个最好的function
梯度下降。
R(τ)不需要做偏微分，所以reward不可微分也可以。因为reward是环境给的，不需要怎么得到。
第1项和第3项与微分无关，可以忽略掉。
注意：要每个动作乘R(τ)，不可每个动作乘r，要不然只有reward不为0的动作会被改变概率。但并不代表其他动作没有长久的意义。
而且log项的意义是，不会偏好出现几率较大的action
如果R(τ)永远都是正的。理想情况，不会有问题。reward比较小的，即使概率大，但训练后概率会变小。
实际情况，是sampling，没sample到的，概率会变小。所以减掉一个bias（自己设置）。没超过bias的，action概率就减小，超过bias的，概率就增加。
critic：学习一个function，看到一个observation/state，评价一下它有多好。
