强化学习中值迭代收敛性推理证明

  在开始证明之前，我想说的是定理是证明给怀疑者，如果你对这个定理不怀疑，那么你就不需要证明。接下来直观感受一下强化学习中值迭代的收敛性。

  假设现在的Agent处于一个state $s$ 下，想要去找一个optimal state，那怎么去找呢？就是遍历所有的policy能够使得当前的state$s$，在遍历的某个policy ${\pi }_x$下值最大，也就找到了这个state所对应的最大value，用数学语言描述如下：

$$v_{\ast }(s)=\underset{\pi }{\max }{v}_{\pi }(s)$$

  不用去怀疑，你一定能找到这样的一个最大的state value，因为你遍历了所有的policy。那能够使得state value最大的那个policy ${\pi }_x$就是optimal policy ${\pi }^{\ast }$，即${\pi }_x={\pi }^{\ast }$。那此时贝尔曼方程就是一个完全收敛的情况，可表示为：

$$v_{\ast }(s)=\underset{a}{\max }{\mathcal{R}}_s^a+\underset{a\in A}{\mathrm{argmax}}\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^{a}v\left(s^{\prime }\right)$$

  如果不收敛，那它(value)肯定还没有到达optimal variable。上述等式在收敛的情况下就会成立，而不仅仅是一个赋值的关系。

  观察上述式子，optimal policy是什么？也即每次是如何take action的呢？也就是等式的右端项：

$${\pi }^{\ast }(s)=\underset{a\in A}{\mathrm{argmax}}\sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^{a}v\left(s^{\prime }\right)$$

  那随便给一个状态，我们每次都按照optimal policy去take action，那每次state value都会大于等于之前非最优的policy所得出来的state value吧：

$$v_{\ast }(s)=v_{\pi \ast }(s)\ge v_{\pi }(s)$$

  也就是说每次都按照optimal policy去take action，state value其实都会有所改进(或者至少不会比以前的差)。那真实的state value总有一个上界吧，总会收敛吧。

Value Iteration

  再来看看值迭代value iteration ，其实就是不断地去套bellman equation，就变成了对于每一个state去计算$V(s)$。

$$\begin{array}{r}V(s)=R(s)+\underset{a\in A}{\max }\gamma \sum _{s^{\prime }\in S}{P}_{sa}\left(s^{\prime }\right)V\left(s^{\prime }\right)\end{array}$$

  这里是没有策略$\pi$的，整个方程就是在表达，policy在take action的时候，就是在take ${\max }_{a\in A}\gamma {\sum }_{s^{\prime }\in S}{P}_{sa}\left(s^{\prime }\right)V\left(s^{\prime }\right)$，那在值迭代里面，它自己去维护这样一个value function就可以了。policy只要使得后面上述等式后面那个max成立就可以了。

我的微信公众号名称：深度学习先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究深度学习、强化学习、机器博弈等相关内容！期待您的关注，欢迎一起学习交流进步！