贝尔曼方程(Bellman Equation)的解读

这个算法只适用于没有变化的环境
在这里插入图片描述

在解释下面几个专业术语前

我先来说一下这个Agent,中文的意思是 代理,代理人
但是实际上他大概表示的意思就相当于变量,就给你某一个状态贴上了一个标签一样

**状态(State) :**用一个数值来作为代理(Agent),描述在环境中某一特定时间点的状态
**行为(Action)* *:代理(Agent)向环境提供的输入,通过对当前状态经行策略计算,然后采取行动
**奖励(Reward) :**来自环境的反馈信号,反映了代理(Agent)有没有有效地执行游戏目标

贝尔曼方程(Bellman Equation)的解读_第1张图片
在这里插入图片描述
上面这个公式就是Bellman方程的基本形态。从公式上看,当前状态的价值和下一步的价值以及当前的反馈Reward有关。

它表明Value Function是可以通过迭代来进行计算的!!!

贝尔曼方程(Bellman Equation)的解读_第2张图片
贝尔曼方程(Bellman Equation)的解读_第3张图片
贝尔曼方程(Bellman Equation)的解读_第4张图片
贝尔曼方程(Bellman Equation)的解读_第5张图片
图一 模型训练流程图
贝尔曼方程(Bellman Equation)的解读_第6张图片
图二 Agent模块布局图
贝尔曼方程(Bellman Equation)的解读_第7张图片

你可能感兴趣的:(深度学习)