Task02：马尔可夫决策及表格型方法 & Task03: 策略梯度和PPO算法

​从Task02开始，就进入到了强化学习的一些核心概念：

一、马尔可夫决策过程(MDP)：

1. 强化学习的基础数据模型，就是马尔可夫链(MC)。

2. 强化学习四元素（智能体（机器）、动作、状态、奖励）构成了一个数据流转过程：

    状态1 ->  动作1 -> 奖励1 -> 状态2 ->  动作2 -> 奖励2 .... -> 状态n ->  动作n -> 奖励n 
   

   其中的“状态”流转所构成的就是一个马尔科夫链，如下图：

   
   图片来自 蘑菇书EasyRL
   
   具体定义可以参考《统计学习方法》中的描述：
   
   在马尔可夫链的基础上，加上一个奖励函数R，就可以由马尔可夫链/马尔可夫过程进一步扩展到马尔可夫奖励过程(Markov Reward Process, MRP)。
   
   图片来自 蘑菇书EasyRL
   ​
   而在MRP的基础上，再加上一个决策（动作），就构成了马尔可夫决策过程(Markov Decision Process)。即：MDP实际上描述的是，由四元素（智能体（机器）、动作、状态、奖励）所构成的强化学习模型，是如何在与环境交互的过程中进行学习的。MDP同时也描述了整个模型的数据流转过程。

未完待续…