基于马尔可夫决策过程的运动规划MDP

机器人路径规划时受到的uncertainty problem

1、Nondeterministic 机器人可能会打滑,偏移

2、Probabilistic 机器人传感器传感器的不确定性

下面展示的是一个基本的MDP问题,X是状态,U是控制量,θ是扰动(会影响后面的概率),L是cost function。跟常见的状态方程相比,多的是一个cost function L(X,U,θ)。

基于马尔可夫决策过程的运动规划MDP_第1张图片

 下面是核心的公式

基于马尔可夫决策过程的运动规划MDP_第2张图片

 下面是伪代码,主要的思路是从终点开始算到起点的路径,跟Dijkstra没什么区别

基于马尔可夫决策过程的运动规划MDP_第3张图片

 后面有一个例程,可以走一遍这个伪代码。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------分界线

------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 

 Expected Cost Planning基于马尔可夫决策过程的运动规划MDP_第4张图片

核心公式

基于马尔可夫决策过程的运动规划MDP_第5张图片

伪代码

基于马尔可夫决策过程的运动规划MDP_第6张图片

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------分界线

------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 

Real Time Dynamic Programming

 

你可能感兴趣的:(导航课程)