自适应动态规划学习笔记（2）

@[toc]自适应动态规划学习笔记（2）
第二天

动态规划的基本原则是贝尔曼的最优性原则，简单描述为：
 多级决策过程的最优策略，不论其初始状态和初始决策如何，当把其中任何一级和状态作为初始级和初始状态时，其剩余的决策对此也必定是一个最优策略

An optimal (control) policy has the property that no matter what previous decisions have been, the remaining decisions must constitute an optimal policy with regard to the state resulting from those previous decisions.*

 举个例子，假如一个多级决策过程为$A\to B\to C\to D$，从$A$到$D$的最优策略为$\{u(0),u(1),u(2)\}$，那么对于以$B$为初态的决策过程$B\to C\to D$来说$\{u(1),u(2)\}$必定是最优策略。证明略。
 言归正传，假设从所有$k+1$时刻可能到达的状态$x_{k+1}$开始，到最终状态的最优代价$J^{\ast }(x_k+1)$已经计算得出，并且已经找到了从$k+1$时刻到最终状态的最优控制序列。需要注意的是，这个最优控制序列是取决于状态$x_{k+1}$的，当最优控制序列$(u_{k+1}^{\ast },u_{k+2}^{\ast },\cdots )$作用与以$x_{k+1}$为初始状态的系统时，如果在$k$时刻施加一个任意的控制$u_k$，从$k+1$时刻开始的控制采用上述的最优控制序列，那么代价可以由如下公式给出：
$$U(x_k,u_k)+\gamma U(x_{k+1},u_{k+1}^{\ast })+{\gamma }^{2}U(x_{k+2},u_{k+2}^{\ast })+\cdots =U(x_k,u_k)+\gamma J_{x_k+1}^{\ast }$$
其中$x_k$是系统在$k$时刻的状态，显然$x_{k+1}$可以由$x_k$和第一天的系统方程（1）$x_{k+1}$