动态规划算法及例题

1、多阶段决策过程与动态规划

将决策过程分为若干个相互联系的阶段，每个阶段都需要做出某项决策，决策的选取要依赖当前面临的状态，并影响后面决策的发展，从而使整个过程达到最好的活动效果。

把一个问题看作是一个前后关联具有链状结构的多阶段过程称为多阶段决策过程。

决策依赖于当前面临的状态，随即引起状态的转移，各阶段决策确定后组成的一个决策序列。

决策序列是在变化的状态中产生，故有“动态含义”。处理它的方法称为动态规划方法。

2、动态规划的基本概念

阶段：

将所给问题的过程，按时间或空间特征分解成若干个相互联系的阶段，以便按次序去求每个阶段的解。描述阶段的变量称为阶段变量，常用k表示阶段变量。

状态：

各阶段开始时的自然状况和客观条件叫做状态。描述阶段状态的变量称为状态变量，常用$s_k$表示第k阶段的状态变量。

无后效性：当某阶段状态给定以后，在这阶段以后的过程的发展不受这段以前各段状态的影响。即过程的过去历史只能通过当前状态去影响它未来的发展，这称为无后效性。如果所选定的状态变量不具备无后效性，就不能作为状态变量来构造动态规划模型。

决策：

当各阶段的状态确定以后，可以做出不同的决定或选择，从而确定下个阶段的状态，这种决定称为决策。描述决策的变量称为决策变量，用$u_k\left(s_k\right)$。

策略：

策略是按顺序排列的决策组成的集合。由过程的第k阶段开始到终止状态为止的过程，称为问题的后部子过程（或称为k子过程）。由每段的决策按照顺序排列组成的决策函数序列$\left\{u_k\left(s_k\right),u_{k+1}\left(s_{k+1}\right),...,u_n\left(s_n\right)\right\}$称为k子过程策略，简称为子策略，记为$p_{1,n}\left(s_1\right)$，即$p_{1,n}\left(s_1\right)=\left\{u_1\left(s_1\right),u_2\left(s_2\right),...,u_n\left(s_n\right)\right\}$

在实际问题中，可供选择的策略有一定的范围, 此范围称为允许策略集合, 用$P$表示。从允许策略集合中找出达到最优效果的策略称为最优策略。

最优化原理：一个最优化策略的子策略总是最优的。所以不管过去的过程如何，只从当前的状态和系统的最优化要求出发，作出下一步的最优决策。

状态转移方程：

动态规划中本阶段的状态是上一个阶段的决策结果。如果给定了第k段的状态。如果给定了第$k$段的状态$s_k$，本阶段决策为$u_k\left(s_k\right)$，则第k+1段的状态$s_{k+1}$由公式：$s_{k+1}=T_k\left(s_k,u_k\right)$确定，称为状态转移方程。$T_k$为状态转移函数。

指标函数：

用于衡量所选定策略优劣的数量指标称为指标函数，是定义在全过程和所有后部子过程上确定的数量函数，用$V_{k,n}$表示，即$V_{k,n}=V_{k,n}\left(s_k,u_k,s_{k+1},u_{k+1},...,s_{n+1}\right),k=1,2,...,n$

该指标函数应该具有可分离性，并满足递推关系，即$V_{k,n}$可以表示为$s_k,u_k,V_{k,n}$的函数。

$V_{k,n}=V_{k,n}\left(s_k,u_k,s_{k+1},u_{k+1},...,s_{n+1}\right)={\psi }_k[s_k,u_k,V_{k+1}\left(s_{k+1},u_{k+1},...,s_{n+1}\right)]$

不同的问题中，指标函数的含义不同，可能是距离、利润、成本、产量或资源消耗等等。

最优值函数：

最优值函数记为$f_k\left(s_k\right)$，它表示从第k段状态$s_k$采用最优策略$p_{k,n}$到过程终止时的最优效益值。$f_k\left(s_k\right)$与$V_{k,n}\left(s_k,p_{k,n}\right)$的关系为：$f_k\left(s_k\right)=opt{V}_{k,n}\left(s_k,p_{k,n}\right)$，其中，$opt$是最优化的缩写，根据题意而取$min$或$max$。

3、动态规划方法的基本思想

动态规划方法的关键在于正确的写出基本的递推关系式和恰当的边界条件（简言之为基本方程）；

要做到这一点，必须先将问题的过程分为几个相互联系的阶段，恰当的选取状态变量和决策变量及定量最优值函数，从而把一个大问题化成一族同类型的子问题，然后逐个求解。即从边界条件开始，逐段递推寻优，在每一个子问题的求解中，均利用了它前面的子问题的最优化结果，依次进行；

最后一个子问题所得到的最优解，就是整个问题的最优解。

4、动态规划与静态规划的关系

线性规划和非线性规划问题，通常与时间无关，故称静态规划。

动态规划问题与时间有关，是研究具有多阶段决策过程的一类问题。对于某些静态规划问题可以引入时间因素，把它看作动态规划问题。

动态规划方法有逆序解法和顺序解法，其关键在于正确写出动态规划的递推关系式。

顺序解法和逆序解法只表示“行进方向”的不同对始端终端看法的颠倒。但用动态规划方法求解最优解时，都是在“行进方向”规定后，均要逆着这个规定的行进方向，从最后一段向前逆推计算，逐段找出最有途径。

5、动态规划算法的基本步骤

1. 分析最优解的性质，并刻画其结构特征。
2. 递归地定义最优值。
3. 以自底向上（即顺序解法或逆序解法）方法或自顶向下（即备忘录法，备忘录法是动态规划算法的一种变形）计算出最优值。
4. 根据计算最优值时得到的信息，构造一个最优解。

步骤1-3是动态规划算法的基本步骤。在只需要求出最优值的情形，步骤4可以省略，若需要求出问题的一个最优解，则必须执行步骤4。此时，在步骤3中计算最优值时，通常需记录更多的信息，以便在步骤4中，根据所记录的信息，快速构造出一个最优解。

通俗而言，可以用以下“四部曲”来使用动态规划算法：

1. 确定状态（即“最后一步”和“化为子问题”）
2. 状态转移方程
3. 初始或边界条件
4. 计算顺序

6、哪些问题能用动态规划算法解决

问题必须满足最优化原理和无后效性才适用动态规划。

如果一个问题满足以下两点，那么它就能用动态规划解决。

1. 问题的答案依赖于问题的规模，也就是问题的所有答案构成了一个数列。举个简单的例子，1个人有2条腿，2个人有4条腿，…，$n$个人有多少条腿？答案是$2n$条腿。这里的$2n$是问题的答案，$n$则是问题的规模，显然问题的答案是依赖于问题的规模的。答案是因变量，问题规模是自变量。因此，问题在所有规模下的答案可以构成一个数列$\left(f\left(1\right),f\left(2\right),...,f\left(n\right)\right)$，比如刚刚“腿”的例子就构成了间隔为2的等差数列$\left(0,2,4,...,2n\right)$。
2. 大规模问题的答案可以由小规模问题的答案递推得到。也就是$f\left(n\right)$的值可以由$\left\{f\left(i\right)|i<n\right\}$中的个别求得。还是刚刚“腿”的例子，显然$f\left(n\right)$以基于$f\left(n-1\right)$求得：$f\left(n\right)=f\left(n-1\right)+2$。

7、动态规划算法实例

问题1

有三种硬币，分别面值2元，5元和7元，每种硬币都足够多，买一本书需要27元，如何用最少的硬币数量正好付清，不需要对方找钱？

解析：

假设最后一个硬币的面值是$a_k$，那么除最后一个硬币外的面值是$27-a_k$，虽然我们不知道最优策略是什么，但最优策略肯定是k枚硬币$a_1,a_2,...,a_k$面值加起来是27。

我们不关心前面的$k-1$枚硬币是怎么拼出$27-a_k$的，而且我们现在甚至还不知道$a_k$和$k$，但是我们确定前面的硬币拼出了$27-a_k$。

原问题是最少用多少枚硬币拼出27，我们将原问题转化成了一个子问题，而且规模小：最少用多少枚硬币可以拼出$27-a_k$。

为了简化定义，假设最优值函数：

$f\left(x\right)=拼出x所用的最少硬币数$。

最后那枚硬币$a_k$只可能是2，5或者7，

如果$a_k$是2，$f\left(27\right)$应该是$f\left(27-2\right)+1$（加上最后一枚硬币2）

如果$a_k$是5，$f\left(27\right)$应该是$f\left(27-5\right)+1$（加上最后一枚硬币5）

如果$a_k$是7，$f\left(27\right)$应该是$f\left(27-7\right)+1$（加上最后一枚硬币7）

需要求最少的硬币数，所以：

$f\left(27\right)=\min \left\{f\left(27-2\right)+1,f\left(27-5\right)+1,f\left(27-7\right)+1\right\}$

由此可知方程满足如下关系式：

$f\left(x\right)=\min \left\{f\left(x-2\right)+1,f\left(x-5\right)+1,f\left(x-7\right)+1\right\}$

接下来确定初始和边界问题，显然，$f\left(0\right)=0$，即需要0枚硬币拼出0。

那当$x-2,x-5,x-7$小于0时怎么办？

令$f\left(x\right)=+\infty \left(x<0\right)$，所以得知$f\left(1\right)=\min \left\{f\left(-1\right)+1,f\left(-4\right)+1,f\left(-6\right)+1\right\}=+\infty$，这也表示价格1无法由这三枚硬币拼出来。

综上所述，动态规划的递推关系式（或动态规划的基本方程）为：
$$\{\begin{array}{l}f\left(x\right)=\min \left\{f\left(x-2\right)+1,f\left(x-5\right)+1,f\left(x-7\right)+1\right\}x=1,2,...n\\ f\left(0\right)=0\\ f\left(x\right)=+\infty \left(x<0\right)\end{array}$$
现在，只要从1开始计算，便可得出结果。（推理时从后往前推，计算时从前往后）

代码：

//动态规划算法，设置price为10000，耗时4ms
public class Coin {
     
    //price代表需要拼凑的价格，0
    public int fun(int price){
     
        int[] f = new int[price + 1];//数组下标代表需要拼凑的价格，对应的值表示硬币数量
        int[] c ={
     2,5,7};//数组c用来存储硬币面值
        f[0]=0;//初始条件，
        for(int i=1;i<=price;i++){
     
            f[i]= Integer.MAX_VALUE;
            for(int j=0;j<c.length;j++){
     
                if(i-c[j]>=0&&f[i-c[j]]!=Integer.MAX_VALUE){
     
                    f[i]=Math.min(f[i],f[i-c[j]]+1);
                }
            }
        }
        return f[price];
    }
}

//暴力破解法，设置price为10000，耗时8812ms
public class Coin {
     
    //0
    public int fun(int plaze){
     
        int max = Integer.MAX_VALUE;
        for(int i=0;i<=plaze/2;i++){
     
            for(int j=0;j<=(plaze-2*i)/5;j++){
     
                for(int k=0;k<=(plaze-2*i-5*j)/7;k++){
     
                    if(2*i+5*j+7*k==plaze){
     
                        if(i+j+k<max){
     
                            max=i+j+k;
                        }
                    }
                }
            }
        }
        return max;
    }
}

问题2

给定m行n列的网络，有一个机器人从左上角$\left(0,0\right)$出发，每一步可以向下或者向右走一步。问有多少种不同的方式走到右下角。

解析：

由题可知，无论机器人用何种方式到达右下角（终点），最后挪动的一步要么向右要么向下，设右下角坐标为$\left(m,n\right)$，那么前一步机器人一定在$\left(m-1,n\right)$或者$\left(m,n-1\right)$的位置。

假设机器人有$x$种方式从起点到达$\left(m-1,n\right)$，有$y$种方式从起点到达$\left(m,n-1\right)$，则机器人有$x+y$种方式到达终点。

设==$f\left(i,j\right)$为机器人有多少种方式从左上角走到$\left(i,j\right)$==，对于任意一个格子$\left(i,j\right)$，有
$$f\left(i,j\right)=f\left(i-1,\mathrm{j}\right)+f\left(i,j-1\right)$$
初始条件：

$f\left(0,0\right)=0$，因为机器人从左上角开始转移

边界条件：

当$i=0$或$j=0$时，则前一步只能有一个方向过来，即$f\left(i,j\right)=1$

先计算第0行，再计算第1行、第2行…第m行。

代码：

public class Path {
     
    public int fun(int m,int n){
     
        int[][] w = new int[m+1][n+1];
        w[0][0]=0;//初始条件
        for(int i=0;i<=m;i++){
     //先行
            for(int j=0;j<=n;j++){
     //后列
                if(i==0||j==0){
     //边界条件
                    w[i][j]=1;
                }else{
     
                    w[i][j]=w[i-1][j]+w[i][j-1];
                }
            }
        }
        return w[m][n];
    }
}

参考资料：

30分钟弄懂动态规划算法详细讲解(超详细)

《运筹学 （第三版）》 清华大学出版社