应用运筹学基础:组合优化 (1) - 线性整数规划、割平面法与分枝定界法

这一节课开始了整数规划,并讲解了 Gomory 割平面法与分枝定界法(branch and bound)。

 

线性整数规划

先从最简单的线性整数规划开始。线性整数规划其实就是线性规划加上解必须为整数的限制,其基本形式为 $$\begin{matrix} \max\limits_x & c^Tx \\ \text{s.t.} & Ax \le b \\ & x \in \mathbb{N} \end{matrix}$$ 我们之前见过的很多算法问题都能写成线性整数规划的形式,特别是能写成整数规划的一种特殊形式:0-1 规划。

0-1 背包问题

设共有 $n$ 件物品,$v_i$ 表示第 $i$ 件物品的价值,$w_i$ 表示第 $i$ 件物品的重量,$c$ 表示背包的最大承重,$x_i \in \{0, 1\}$ 表示是否选择第 $i$ 件物品。那么 0-1 背包问题可以写为 $$\begin{matrix} \max\limits_x & \sum\limits_{i=1}^n v_ix_i \\ \text{s.t.} & \sum\limits_{i=1}^n w_ix_i \le c \\ & x_i \in \{0, 1\} \end{matrix}$$

最小生成树

设共有 $n$ 个点,点集为 $V$,$(i, j) \in E$ 表示从第 $i$ 个点连到第 $j$ 个点的一条有向边(一条无向边就相当于两条有向边),$w_{i, j}$ 表示边权,$x_{i, j} \in \{0, 1\}$ 表示这一条边是否在最小生成树内。那么最小生成树问题可以写为 $$\begin{matrix} \min\limits_x & \sum\limits_{(i, j) \in E} w_{i, j}x_{i, j} \\ \text{s.t.} & \sum\limits_{(i, j) \in E} x_{i, j} = n-1 \\ & \sum\limits_{i \in S, j \not\in S} x_{i, j} \ge 1 & \forall S \;\unicode{x2acb}\; V \\ & x_{i, j} \in \{0, 1\} \end{matrix}$$ 第一项限制保证了生成树中有且仅有 $n-1$ 条边,第二项限制保证了生成树的连通性。因为树是无向图,所以每条边都会被算两次,最后答案除以 2 即可。

虽然这个表述使用了指数级的限制,但我们知道,最小生成树是有多项式算法的。也可以用椭球法在多项式时间内解最小生成树问题。

装箱问题

设共有 $n$ 个物品,$w_i$ 表示第 $i$ 个物品的重量,$c$ 表示每个箱子的承重,$x_{i, j} \in \{0, 1\}$ 表示是否将第 $i$ 个物品放入第 $j$ 个箱子,$y_i$ 表示是否使用第 $i$ 个箱子。那么装箱问题可以写为 $$\begin{matrix} \min\limits_{x, y} & \sum\limits_{i=1}^n y_i \\ \text{s.t.} & \sum\limits_{i=1}^n w_ix_{i, j} \le cy_j & \forall j \in \{1, 2, \dots, n\} \\ & \sum\limits_{j=1}^n x_{i, j} = 1 & \forall i \in \{1, 2, \dots, n\} \\ & x_{i, j} \in \{0, 1\} \\ & y_{i, j} \in \{0, 1\} \end{matrix}$$ 第一项限制保证了每个箱子装的物品不会超过承重,第二项限制保证了每个物品一定会被装入箱子,且每个物品只装入一个箱子。

匹配问题

设图的点集为 $V$,边集为 $E$。设 $(i, j) \in E$ 表示从第 $i$ 个点连到第 $j$ 个点的一条有向边,$x_{i, j}$ 表示这条边是否为匹配边。那么一般无向图的最大匹配问题可以写为 $$\begin{matrix} \max\limits_x & \sum\limits_{(i, j) \in E} x_{i, j} \\ \text{s.t.} & \sum\limits_{(i, j) \in E} x_{i, j} \le 1 & \forall i \in V \\ & \sum\limits_{(i, j) \in E} x_{i, j} \le 1 & \forall j \in V \\ & x_{i, j} \in \{0, 1\} \end{matrix}$$ 我们也可以用图的点 - 边关联矩阵来描述匹配问题。设图中有 $n$ 个顶点,$m$ 条边,那么图的点 - 边关联矩阵是一个 $n \times m$ 的矩阵。该矩阵每列对应一条边,每行对应一个顶点。若第 $i$ 个顶点是第 $j$ 条边的端点,那么矩阵第 $i$ 行第 $j$ 列为 1,否则为 0(可以看出,这个矩阵描绘的是无向边)。

用图的点 - 边关联矩阵将一般无向图的最大匹配问题写为 $$\begin{matrix} \max\limits_{(i, j) \in E} & x_{i, j} \\ \text{s.t.} & Ax \le b \\ & x_{i, j} \in \{0, 1\} \end{matrix}$$ 其中 $A$ 为图的点 - 边关联矩阵,$y$ 是一个全为 1 的向量。

 

匹配问题中,二分图的最大匹配最为特殊。如果把 $x_{i, j} \in \{0, 1\}$ 这项条件改成 $x \ge 0$,用线性规划求解二分图的最大匹配问题,最优解仍然非 0 即 1。和上一节课讲解的最短路问题一样,这也是因为二分图的点 - 边关联矩阵是全幺模矩阵。

以下对方阵的边长 $n$ 使用数学归纳法,证明任意一个无向二分图的点 - 边关联矩阵的子方阵行列式取值为 0,1 或 -1。

起始步骤:对于任意二分图 $n = 1$ 的子方阵,根据点 - 边关联矩阵的定义,子方阵的行列式取值为 0 或 1。

推递步骤:假设对于任意二分图 $n \le k$ 的子方阵,都有行列式取值为 0,1 或 -1。

对于任意二分图 $n = k + 1$ 的子方阵,根据点 - 边关联矩阵的定义,每一列至多有两个非 0 元素,且这些元素均为 1。

如果该子方阵存在一列没有非 0 元素,那么该子方阵的行列式取值为 0;

如果该子方阵存在一列只有一个非 0 元素,由于该元素为 1,那么该子方阵行列式的绝对值等于该元素余子式的绝对值。将原二分图去掉该元素对应的点和边后,这个余子阵可以看作是新二分图的子方阵(因为二分图的子图仍然是二分图)。根据归纳法假设,该元素余子式的绝对值为 0 或 1,那么该子方阵的行列式取值为 0,1 或 -1。

如果该子方阵的每一列都有两个非 0 元素,设二分图可以被分为 $A$ 和 $B$ 两个集合,根据点 - 边关联矩阵的定义与二分图的定义,将集合 $A$ 中的点对应的行相加,再减去集合 $B$ 中的点对应的行,将会得到一个元素都是 0 的行向量,所以该子方阵的行列式取值为 0。

综上所述,对于 $n = k + 1$ 的子方阵,其行列式的取值仍为 0,1 或 -1。

根据上述数学归纳法,无向二分图的点 - 边关联矩阵是全幺模矩阵。

 

将二分图的最大匹配问题放松成线性规划后,写出它的对偶问题 $$\begin{matrix} \min\limits_y & \sum\limits_{i=1}^n y_i \\ \text{s.t.} & y_i + y_j \ge 1 & (i, j) \in E \\ & y \ge 0 \end{matrix}$$ 由于全幺模矩阵的转置也是全幺模矩阵,所以这个问题也可以加上 $y \in \{0, 1\}$ 的限制而答案不变。

如果我们把 $y_i$ 看作是否选择第 $i$ 个点,这就是二分图的最小覆盖问题。这就是二分图的最大匹配和最小覆盖可以互相转化的原因。而一般图的最大匹配问题将 0-1 限制放松后最优解会改变,所以无法这样转化。

 

Gomory 割平面法

接下来介绍两种解线性整数规划问题的方法,首先介绍 Gomory 割平面法。

Gomory 割平面法的思想就是一直去除非整数的最优解,直到某一次求得的最优解为整数。考虑一个线性规划问题,假设我们使用单纯形表求解后获得的不是整数解,我们选择一个非整数的变量 $x_i$,根据单纯形表有 $$x_i + \sum\limits_{j=m+1}^n \bar{a_{i,j}}x_j = \bar{b_i} \qquad \qquad \text{①} $$ 既然 $x_i$ 不是整数,说明 $\bar{b_i}$ 一定不是整数,当然 $\bar{a_{i,j}}$ 也可能不是整数。

将式 ① 调整一下,变为 $$x_i + \sum\limits_{j=m+1}^n \left\lfloor \bar{a_{i,j}} \right\rfloor x_j \le \bar{b_i} \qquad \qquad \text{②} $$ 显然,式 ① 的解一定是式 ② 的解。

再次调整式 ②,变为 $$x_i + \sum\limits_{j=m+1}^n \left\lfloor \bar{a_{i,j}} \right\rfloor x_j \le \left\lfloor\bar{b_i}\right\rfloor \qquad \qquad \text{③}$$ 容易看出,式 ② 的整数解一定符合式 ③,而原来用单纯形表求出的非整数解就不符合式 ③ 了(因为原来求出的非整数解中,有 $x_i = \bar{b_i} > \left\lfloor \bar{b_i } \right\rfloor$ 以及 $x_j = 0$)。我们只要把式 ③ 加入原来的线性规划问题,重新求解多出一个限制的线性规划问题。如果求出来的是整数解就停止,否则继续加入限制并求解,直到获得整数解为止。

顺便一提,大部分参考资料不会直接加入式 ③,而是加入 ① - ③,即 $$\sum\limits_{j=m+1}^n(\bar{a_{i,j}} - \left\lfloor \bar{a_{i,j}} \right\rfloor) x_j \ge \bar{b_i} - \left\lfloor \bar{b_i} \right\rfloor$$ 当然效果是一样的。

 

来举个例子,考虑以下线性整数规划问题 $$\begin{matrix} \max\limits_x & 3x_1 + 2x_2 \\ \text{s.t.} & 2x_1 + 3x_2 + x_3 = 14 \\ & 2x_1 + x_2 + x_4 = 9 \\ & x \ge 0 \end{matrix}$$ 用单纯形表解该问题,结果为 $$\begin{array}{c|cccc|c} & 0 & 0 & -1/4 & -5/4 & -59/4 \\ \hline x_2 & 0 & 1 & 1/2 & -1/2 & 5/2 \\ x_1 & 1 & 0 & -1/4 & 3/4 & 13/4 \end{array}$$ 选择 $x_2$,加入限制:$x_2 - x_4 \le 2$,即 $x_2 - x_4 + x_5 = 2$。用单纯形表求解加入限制后的问题,结果为 $$\begin{array}{c|ccccc|c} & 0 & 0 & 0 & -1 & -1/2 & -29/2 \\ \hline x_3 & 0 & 0 & 1 & 1 & -2 & 1 \\ x_1 & 1 & 0 & 0 & 1 & -1/2 & 7/2 \\ x_2 & 0 & 1 & 0 & -1 & 1 & 2 \end{array}$$ 选择 $x_1$,加入限制:$x_1 + x_4 - x_5 \le 3$,即 $x_1 + x_4 - x_5 + x_6 = 3$. 用单纯形表求解加入限制后的问题,结果为 $$\begin{array}{c|cccccc|c} & 0 & 0 & 0 & -1 & 0 & -1 & -14 \\ \hline x_3 & 0 & 0 & 1 & 1 & 0 & -4 & 3 \\ x_1 & 1 & 0 & 0 & 1 & 0 & -1 & 4 \\ x_5 & 0 & 0 & 0 & 0 & 1 & -2 & 1 \\ x_2 & 0 & 1 & 0 & -1 & 0 & 2 & 1 \end{array}$$ 所以原问题的最优解为 $x_1 = 4, x_2 = 1$,目标函数值为 $14$。

 

分枝定界法

(其实我觉得应该写作分支定界法,不过上课的老师坚持认为是分枝- -)

分枝定界法的思想和最优性剪枝或者 min-max 搜索树什么的差不多。我们先将原问题放松成线性规划问题,解这个线性规划,就得到了整数规划最优解的上界。假设最优解中 $N < x_i < N+1$ 不是整数,就会有两种可能:$x_i \le N$ 或 $x_i \ge N+1$,对两种情况分别进行搜索。如果在某一枝内算出了一个整数解,我们就得到了原整数规划最优解的下界;如果另一枝内线性规划问题的解还没有这个下界来得优,那么那一枝就可以直接不考虑了(因为线性规划问题的解是那一枝能找到的最优解的上界)。总而言之就是带着最优性剪枝的暴搜。

 

用一张 youtube 视频里的图作为例子

应用运筹学基础:组合优化 (1) - 线性整数规划、割平面法与分枝定界法_第1张图片

对于放松后的线性规划问题,最优解为 $x_1 = 8, x_2 = 2.25$,目标函数值为 35.25;

首先考虑 $x_2 \le 2$,也就是 node1A,算得该情况下最优解为 $x_1 = 8, x_2 = 2$,目标函数值为 34。这是一个整数解,记录并回溯;

考虑 $x_2 \ge 3$,也就是 node1B,算得该情况下的最优解为 $x_1 = 6.5, x_2 = 3$,目标函数值为 34.5。它还优于我们已知的下界 34,继续搜索;

考虑 $x_1 \le 6$,也就是 node2C,算得该情况下的最优解为 $x_1 = 6, x_2 = 3.25$,目标函数值为 34.25。它还优于我们已知的下界 34,继续搜索;

考虑 $x_2 \le 3$,也就是 node3E,算得该情况下的最优解为 $x_1 = 6, x_2 = 3$,目标函数值为 33。它劣于我们已知的下界 34,回溯;

考虑 $x_2 \ge 4$,也就是 node3F,算得该情况下的目标函数值为 33.5。它劣于我们已知的下界 34,回溯;

考虑 $x_1 \ge 7$,也就是 node2D,该情况下无可行解,回溯;

搜索得最优解为 $x_1 = 8, x_2 = 2$,目标函数值为 34。

(事实上我觉得这个例子不太好,其实在 node1B就可以直接回溯了。因为 node1B 那一枝的上界是 34.5,那么最优整数解最多只有 34 了。)

 

再试一试 Gomory 单纯形法的那个例子。将原问题松弛为线性规划问题后,得到的最优解为 $x_2 = 5/2, x_1 = 13/4$,目标函数值为 $59/4$。

先探索 $x_2 \le 2$ 的情况,用单纯形表求解得 $$\begin{array}{c|ccccc|c} & 0 & 0 & 0 & -1 & -1/2 & -29/2 \\ \hline x_3 & 0 & 0 & 1 & 1 & -2 & 1 \\ x_1 & 1 & 0 & 0 & 1 & -1/2 & 7/2 \\ x_2 & 0 & 1 & 0 & -1 & 1 & 2 \end{array}$$ 探索 $x_1 \le 3$ 的情况,用单纯形表求解得 $$\begin{array}{c|cccccc|c} & 0 & 0 & 0 & 0 & -2 & -3 & -13 \\ \hline x_3 & 0 & 0 & 1 & 0 & 0 & -2 & 2 \\ x_4 & 0 & 0 & 0 & 1 & 0 & -2 & 1 \\ x_2 & 0 & 1 & 0 & 0 & 1 & 0 & 2 \\ x_1 & 1 & 0 & 0 & 0 & 0 & 1 & 3 \end{array}$$ 得到候选的解 $x_1 = 3, x_2 = 2$,目标函数值为 $13$。

接下来探索 $x_1 \ge 4$,用单纯形表解得 $$\begin{array}{c|ccccc|c} & 0 & 0 & 0 & -2 & -1 & -14 \\ \hline x_1 & 1 & 0 & 0 & 0 & -1 & 4 \\ x_3 & 0 & 0 & 1 & -2 & -4 & 3 \\ x_2 & 0 & 1 & 0 & 1 & 2 & 1 \\ x_5 & 0 & 0 & 0 & 0 & 1 & 1 \end{array}$$ 得到候选的解 $x_1 = 4, x_2 = 1$,目标函数值为 $14$。

注意到原问题目标函数值的上界为 $59/4$,而 $14 < 59/4 < 15$,所以目标函数值的整数上界为 $14$,$x_1 = 4, x_2 = 1$ 必然为整数最优解. 所以原问题的最优解为 $x_1 = 4, x_2 = 1$,目标函数值为 $14$。

转载于:https://www.cnblogs.com/tsreaper/p/aop6.html

你可能感兴趣的:(应用运筹学基础:组合优化 (1) - 线性整数规划、割平面法与分枝定界法)