强化学习之Q函数的个人理解

首先了解为什么要用强化学习?强化学习是智能体(Agent)与环境之间一种学习和反馈。就像狗撞在玻璃门上两次,第三次它就不会再去跑到玻璃门了。可以通过强化学习来实现经验的快速积累,并针对实时情况作出动态规划(注意强化学习和无监督学习的区别)其中,用的最广泛的就是Q Learning了。

Q Learning是由Q函数引出来了的,因此先给出Q函数和V函数的定义。

----------------------------------------------------------------------------------------------------------------------------------

以下都是图片,实在是不想在写一遍了,就偷懒了。。。。


V函数称为状态值函数,表示从状态x出发,采用策略缩带来的累积奖赏值。而Q函数称为状态-动作值函数,它比状态值函数多了一步,就是在指定初始状态x时,也指定了第一步动作a,同样Q函数也是表示累积奖赏值。这里都是采用的折扣累积奖赏。下面就来推导下Q函数的公式。先假设状态转移函数P和奖赏函数R是已知的。推导过程如下:

强化学习之Q函数的个人理解_第1张图片

强化学习之Q函数的个人理解_第2张图片

强化学习之Q函数的个人理解_第3张图片


你可能感兴趣的:(强化学习)