值迭代(value iteration)解决冰湖(FrozenLake-v0)问题

先上算法

然后给出代码:

首先求得最优值函数

再用最优值函数去推出最优策略

具体的代码可以在https://github.com/JUSTLOVELE/MobileDevStudy/blob/master/RL/gym_case 中查阅

这里加上先前写的策略迭代其实这里就大致讲完了动态规划算法在强化学习中的应用，不难看出策略迭代通常是policy evaluation+policy improvement交替执行直到收敛，而值函数通常是寻找Optimal value function+一次policy extraction,它们不用交替执行,因为值函数最优,策略通常也是最优,通常我们会使用值迭代因为收敛会更快。