强化学习(RL)

强化学习是机器学习中的一个领域,强调如何基于环境而行动,以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论,即有机体如何在环境给予的奖励或惩罚的刺激下,逐步形成对刺激的预期,产生能获得最大利益的习惯性行为。——wiki

强化学习(RL)_第1张图片

强化学习在许多学科都有应用,除了AI外,还包括自动化的控制理论,数学中的运筹学和认知科学。

在机器学习中,通常可以分为有监督学习(分类,回归),无监督学习(聚类,降维)和强化学习(无监督数据,只有奖励信号,且奖励信号不一定实时,大部分情况下滞后;研究的非i.i.d【独立同分布数据】,而是time sequence;当前行为会影响后续数据分布)。

强化学习中使用非确定性模型,要求选择一定的行为系列以最大化未来的总体奖励最大化,有时候宁愿牺牲即时(短期)的奖励以获取更多的长期奖励。

两个例子:

强化学习(RL)_第2张图片

强化学习的具体数学模型:

首先要弄懂马尔科夫过程(MP),马尔科夫的一个重要性质是:下一时刻的state由这一时刻的state决定,不需要存储之前1~t-1时刻的state结果。


在finite state时,可以得到一个矩阵(Transition Matrix),使得:

选择合适的state在进行马尔科夫过程中十分重要,比如上图左,若只选择了“位置”作为state,会极大地影响最终结果。

马尔科夫决策过程(MDP):在马尔科夫的基础上,增加了一个action,使得下一时刻的state不光和这一时刻的state有关,也和这一时刻的action有关;另外新增了reward function,也与state和action相关。

强化学习(RL)_第3张图片

在强化学习中的几个function:

1.policy π:指agent每次根据state,要采取什么样的action;分为确定性的(deterministic)策略和随机(stochastic)策略。

2.累计回报Gt:一般会加上系数,如下图,这样符合人类学习的特点,也可以使得结果不过于大可收敛。

    

强化学习的目的:找出最优策略,使得累计回报最大。如下图:


state-value function(价值函数)用来评价给定策略时state的好坏(当前的累计回报):


将Gt公式带入后,有:


另外,有 state-action value function(动作价值函数),评价给定策略时,在状态state下执行动作action的好坏(也是当前的累计回报):

将Gt公式带入后,同样有:

接下来看一看v(s)和q(s,a)的联系。

强化学习(RL)_第4张图片
在state s时,会根据policy π,产生一个action a,那么如上图左式,π(a|s)表示上述过程的概率函数。
而当有了s和a,系统会马上给出一个R,并且系统会有一定的概率P走到s',公式可以如上图右所示。
强化学习(RL)_第5张图片
上图左式得到的是当前state和下一步state的关系(直接代入)。

右边,在如上定义情况下,得到vπ的表达式。这里要注意,取vπ=[vπ(s1)...vπ(s')] 使得在计算中不包含vπ(s')项可以统一计算。实际项目中这样算要inverse代价太大,所以还是用迭代求解的方法。

右下公式告诉我们,只需要知道环境包含的两部分,在策略固定的情况下(R:采取动作a系统会给的reward大概是怎么样的  P:当前状态s已知,采取动作a,系统会走到另外一个状态s'的概率P),就可以知道vπ的好坏。

同样的,qπ和下步qπ有如下关系:

强化学习(RL)_第6张图片

在给定policy的情况下,就可以得到state的好坏以及action的好坏,这是Bellman Expectation Equation的两个式子。

但实际上,我们并非想得到fixed π下的结果,而是想得到最优解,如下:

强化学习(RL)_第7张图片

同样的,求s和s,a和a的公式如下,纯带入计算。

强化学习(RL)_第8张图片

那么,最佳策略的定义是什么呢?是策略π对于所有的s,如果vπ都大于其他策略的状态值累计vπ',则认为策略π优于其他所有策略π'。


对于任意的马尔可夫决策过程,都一定存在着策略π,优于其他所有π';并且使得对于所有的s,vπ都大于其他策略的状态值累计vπ';使得对于所有的s,qπ都大于其他策略的动作状态值累计qπ'。这个证明非常麻烦,不证了。

对于MDP问题,分为以下两类:


这里先讨论第一种:对于MDP Planning,两种方法之前讲过了:

强化学习(RL)_第9张图片

在第二种方法中,包括值迭代(迭代求解最大v(s))和策略迭代(给定策略π,策略评估得到vπ(s),再π'=greedy(vπ),不断重复这两步)。


图片来自《七月在线》强化学习课程ppt



你可能感兴趣的:(强化学习)