贝尔曼最优方程收敛性证明

贝尔曼方程有两种形式「贝尔曼期望方程」和「贝尔曼最优方程」,贝尔曼期望方程是在求解价值函数 v π ( s ) v_{\pi}(s) vπ(s)或者Q函数 q π ( s , a ) q_{\pi}(s,a) qπ(s,a)的时候使用,而贝尔曼最优方程则在求解最优策略时使用,

那么为什么贝尔曼最优方式是收敛的?简单来说Belman最优公式对应的算子是完备度量空间(也叫完备空间,空间中的任何柯西序列都收敛在该空间之内)上的一个压缩映射,根据巴拿赫不动点定理(也叫压缩映射定理或压缩映射原理),可以保证压缩映射不动点的存在性和唯一性。

贝尔曼最优方程收敛性证明_第1张图片
在这里插入图片描述

以下转载自https://towardsdatascience.com/mathematical-analysis-of-reinforcement-learning-bellman-equation-ac9f0954e19f,来证明Bellman Optimality Equation为啥是收敛的:



贝尔曼最优方程收敛性证明_第2张图片

你可能感兴趣的:(人工智能,深度学习)