马尔科夫决策过程

马尔科夫过程/链：

满足“未来只与现在有关，与过去无关”的随机过程

MRP：

=马尔科夫过程+奖励+折扣因子

计算方法：

• Bellman矩阵（O(n^3)，适合小规模）
• 动态规划（适合白盒但现实条件下是白盒很少）
• 蒙特卡洛（基于采样和统计）
• 时序差分

MDP:

=MRP+“刺激”（对环境而言，刺激就是agent的action）所以MDP就是环境本身。

state-value function & action-value function

上述公式很重要❗描述了现在的状态/动作价值函数和未来的关系，以及之间的转化关系。

哦~好像刷新了历史最短篇幅记录，不过 I don’t care，打算在CSDN更新有关笔记，代码放在上github上，明天更的是基于DP的策略迭代和价值迭代（悬崖寻路和冰湖环境）

感觉从头开始快不得，去年的组会至今也有半年了吧，重拾之后再理解确实有些新的体会。打算将theory和codes一起吃透，毕竟最终公式还是要转换为代码的，“纸上得来终觉浅，绝知此事要躬行”嘛。

从头编写环境、动作，然后更新环境…听起来也不是那么轻松哦~