强化学习之马尔可夫决策

大家学过机器学习的话应该对隐马尔可夫模型(HMM)有所了解，它具有的马尔可夫特性就是指系统的下个状态只和当前状态信息有关，而与更早之前的状态无关，即：

马尔科夫决策过程(Markov Decision Process, MDP)以马尔可夫随机过程为理论基础，马尔科夫决策过程也可以用一个元组(S,A,P,R,γ)(S,A,P,R,γ)来表示。SS是决策过程中的状态集合；AA是决策过程中的动作集合；PP是状态之间的转移概率；RR是采取某一动作到达下一状态后的回报(也可看作奖励)值；γγ是折扣因子。特别地，这里的转移概率与马尔科夫随机过程不同，这里的转移概率是加入了动作AA的概率，如果当前状态采用不同动作，那么到达的下一个状态也不一样，自然转移概率也不一样。转移概率形式化描述是： 马尔可夫奖赏过程：

这个式子的意思是：在t时刻所处的状态是s，采取a动作后在t+1时刻到达s^s的概率下面我们也用一个具体的例子来讲述一下马尔可夫过程：例: (垃圾回收机器人)垃圾回收机器人基于自己电池的含量来决定相应的动作。当电量很高的时候，机器人可以在路上到处寻找垃圾来进行回收，也可以呆在原地不动，等着人类把垃圾送进自己的肚囊。如果电量很低的话，机器人可以选择去充电，也可以选择呆在原地不动，同时，仍然可以选择花费更多的电力去得到垃圾。机器人在不同的状态下采取不同的动作会得到相应的奖励。如图所示：

根据表格可知，第一列表示的是当前的状态，第二列表示的是执行动作之后的状态，a表示的是动作，倒数第二列代表执行相应动作的概率，也就是transition stateprobability。最后一列代表采取该行动赢得的奖励。若当前状态为low，且仍然执行search动作导致机器人没电，需要人为充电的话，其reward为-3。该马尔可夫决策过程图如下所示：

空心的圆点代表回收机器人的电池状态(state)，实心圆点代表机器人所做的动作(action)。最后我们用一个值函数来评估Agent做的有多少，其值函数的评判标准有两个。第一个是根据所在状态来评判Agent做的好坏(state value)，另外一个则是在给出状态和动作的条件下来评判Agent做的好坏(action value)首先，我们先来看一下第一则评判准则(State Value)，其公式为：

第二则评判准则(Action Value)，其公式如下：

两项评判准则的后推图(Backup，并不是备份的意思，我们可以将其理解为deep learning中的Backpropagation的含义)如下所示：

图中空心圆代表的是状态(state)，实心圆代表的是动作(action)，s代表的是当前的状态，s’代表的是采取行动a之后的状态，a’的含义雷同。由以上公式可知，我们所求的是在特定状态和动作条件下相应的期望(期望大部分用平均值来表示)。因此，在BackupDiagram中，每一个节点都存在着多个分叉(即多个可能性)。总结：今天的内容就到这里了，由于涉及到比较多的数学计算，所以理解起来比较困难，读者需要结合实际列子去思考，这样会轻松一些。

关注小鲸融创，一起深度学习金融科技！