强化学习（二）——动态规划

Reference

[1] https://github.com/datawhalechina/easy-rl
[2] David_Silver: https://www.youtube.com/watch?v=Nd1-UUMVfz4&t=1113s

1. 预测（Prediction）

定义
输入策略和MDP五元组，输出策略的状态价值函数$v_{\pi }$。

1.1 策略评估（Iterative Policy Evaluation）

（1）定义
一种预测方法。通过重复迭代贝尔曼期望方程，直至方程收敛，来获得状态价值函数$v_{\pi }$。

（2）举例

2. 控制（Control）

（1）定义
输入MDP五元组，输出最优策略${\pi }_{\ast }$和最优价值函数$v_{\ast }$。

2.1 策略迭代（Policy Iteration）

（1）定义
策略迭代由策略评估（Policy Evaluation）和策略改进（Policy improvement）两部分组成。循环迭代贝尔曼期望方程直至达到收敛即可获得最优价值及其最优策略。

• 策略评估：用于预测给定策略$\pi$的价值函数$v_{\pi }$。
• 策略改进：采用贪心策略（greedy），在每个状态下选择最大$q_{\pi }$值的动作改进策略。
  ①$q_{\pi }$值可以通过$v_{\pi }$值获得
  $$q_{{\pi }_i}(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }|s,a)V_{{\pi }_i}(s^{\prime })$$

（2）策略改进
采用贪心策略，在每个状态下选择最大$q_{\pi }$值的动作改进策略。

因为$q_{\pi }$值可以通过$v_{\pi }$值获得，所以重复迭代贝尔曼期望方程（重复策略评估和改进）直到收敛后可以获得最优值，然后停止策略改进。因为最终能够满足贝尔曼最优方程，所以我们也找到了最优价值和策略。

2.2 价值迭代（Value Iteration）

举例
在采用策略迭代时，因为每一次迭代都会更新当前策略，所以为了达成价值函数收敛，会无意义地产生多次最优策略。

为了优化策略迭代过程，我们可以使在中间部分不更新策略，仅当价值函数收敛后再更新最优策略。

（1）最优化原理（Principle of Optimality）

（2）定义
通过循环迭代贝尔曼最优方程直至收敛获得最优价值函数$v_{\ast }$。

然后根据获得的$v_{\ast }$找到对应的最优策略${\pi }_{\ast }$。

（3）举例

2.3 比较（Compare）

策略迭代和价值迭代获得的最优策略是一致的。

• 策略迭代：循环迭代贝尔曼期望方程，每次迭代在策略评估的后都进行了策略改进，每次迭代都生成了一次策略。
• 价值迭代：循环迭代贝尔曼最优方程，迭代中不生成策略。仅在迭代收敛后生成最优策略。