从一维cutting问题看列生成算法

列生成算法

列生成在求解大型线性规划时往往都表现良好，在很多时候，一个变量很多的线性规划问题中，往往很多的列是用不到的，或者说，它们并不影响最优解的求解。列生成正是基于这样一种思想，从有限列出发，每次在求解限制问题后，判断是否达到最优，若达到，则返回结果，否则，添加新的列，继续求解，直到求出最优解为止。
本文将从列生成原理的证明，基于一维cutting问题的步骤说明和python代码实现来详细讲解列生成算法。同时比较该问题的几种模型在gurobi求解下的速度和解的质量。

一维cutting问题

一维cutting问题可以描述为：假设有无限多的长度为$L$的木板和$n$种类型的需求，第$i$ ($i$=1,…,$n$)类型需求的尺寸为$l_i$，需求数量为$d_i$，设$M=\{1,2,...,m\}$，$N=\{1,2,...,n\}$试求如何选择下料方式，在满足需求的情况下，使得使用的木板（board）数目最少？
在进一步说明列生成之前，我们先看一维cutting问题的相关模型描述比较不同模型求解的效率。

该问题的模型建立是简单的，在建立第一个模型之前，我们先定义相关的决策变量：
$y_j=1$ 如果第$j$个木板被使用，否则$y_j=0$，$y_j\in \{0,1\}$;
$x_{ij}$ 代表来自第$j$个木板的第$i$中类型需求的数量，$x_{ij}\in \mathbb{N}$.

$model$ $1:$
$min\sum _{j\in M}{y}_j$ （1）

s.t. $I{y}_j\ge x_{ij},i\in N,j\in M$ （2）

$\sum _{j\in M}{l}_i{x}_{ij}\le L,j\in M$ (3)

$\sum _{i\in N}{x}_{ij}\ge d_i,i\in N$ (4)

公式(1)定义了问题的目标，即使用的board数量最少，显然，$I$是一个充分大的数，且$m=\sum _{i\in N}{d}_i$显然是该问题的一个上界。当然，$m$取值越大意味着更多的决策变量，而实际上，任何一种启发式方法或者可行方案下使用的board数目都是该问题的一个可行上界。而在该问题中，我们取简单上界$m=\sum _{i\in N}\lceil \frac{d_i}{\lfloor \frac{L}{l_i}\rfloor }\rceil$。公式（2）限制了当$y_j=0$时，即第$j$个board不被使用时，$x_{ij}=0$。其中，$I$是一个充分大的常数，因此当$y_j=0$时，对$x_{ij}$不作约束。公式(3)限制了从board $j$上切下的物品尺寸总和不能超过baord的总长$L$。公式（4）则表示相应的需求约束。

我们通过一个实例的求解来说明下这个模型的求解效率，我们设$L=110$，考虑5种不同的需求如下表所示。

尺寸$l_i$	20	45	50	55	75
需求$d_i$	48	35	24	10	8

将数据代入模型1，python编程，调用gurobi求解得到的结果为$OPT=47$，时间$runtime=30.3s$.
进一步地，我们用该模型的松弛形式，即松弛 $0\le y_j\le 1$ 和 $x_{ij}\ge 0$ 代替model 1中的决策变量约束来估计该问题的下界。得到$OPT=0.048$，时间$runtime=0.009s$。下界的意义之一在于：随着求解规模的增大，当一个模型的求解时间是呈指数增长时，我们往往会选择一些启发式算法或智能算法来求解相应的问题。因此，此时可以用下界来评价一个算法的有效性(effectiveness)，而当你提供一个足够好的下界，而你启发式算法的求解结果和下界差距足够小时，即可以说明你的算法能求解出足够好的近似优解。显然，第一个模型的松弛模型的下界足够差。因为我们可以很简单地得到该问题的一个连续下界
$$lowerbound=\lceil \frac{\sum _{i\in N}{d}_i{l}_i}{L}\rceil (5)$$.
且通过公式(5)我们可以求得的该实例的下界为45.

很多时候，模型建立的不同可能会对求解效率产生很大的影响，基于model 1，建立新的cutting模型，如下所示。

$model$ $2:$
$min\sum _{j\in M}{y}_j$ （6）

s.t. $\sum _{j\in M}{l}_i{x}_{ij}\le L{y}_j,j\in M$ (7)

$\sum _{i\in N}{x}_{ij}\ge d_i,i\in N$ (8)

该模型进行了简单的调整，经过求解器求解，我们可以得到$OPT=47$，时间$runtime=8s$. 而对应的松弛模型$runtime=0.003s，OPT=44.41$。实际上，我们可以发现，该线性模型求解得结果和公式（5）求解结果是相同的，在其对应的松弛问题中，我们可以定义$y_j$为board $j$ 使用的比例 $0\le y_j\le 1$，从这个角度上来看，它和公式(5)的原理是一致的。

同时，从这里我们可以看出，建立不同的数学模型，可能会极大地影响模型的求解效率。

列生成原理

首先考虑一个目标为极小值的线性规划模型$P$ 如下所示

min $z=c^{T}x$
$(P)$ $\{\begin{array}{l}Ax\ge b\\ x\ge 0\end{array}(9)$

其中，$A$为$m\times n$的二维矩阵，$c,x$ 均为$n\times 1$的列向量，$b$为$m\times 1$的列向量。设$\tilde{A}$为$m\times n^{\prime }$的二维矩阵，且$n^{\prime }\le n$，$\tilde{A}$中列向量为$A$中列向量的子集，则我们可以定义相应的限制问题$RP$如下所示

min $z=c^{\prime T}{x}^{\prime }$
$(RP)$ $\{\begin{array}{l}\tilde{A}{x}^{\prime }\ge b\\ x^{\prime }\ge 0\end{array}(10)$

模型$(P)$和模型$(RP)$的对偶问题$DP$和$DRP$可以表示如下:

max $w=y^{T}b$
$(DP)$ $\{\begin{array}{l}{A}^{T}y\le c\\ y\ge 0\end{array}(11)$

max $w=y^{T}b$
$(DRP)$ $\{\begin{array}{l}{\tilde{A}}^{T}y\le c^{\prime }\\ y\ge 0\end{array}(12)$

由强对偶性可知，如果$(RP)$的最优解是$P$的最优解，当且仅当$DRP$的最优解是$DP$的最优解。此时，由于$DRP$的行（即约束）是$RP$的行的子集，从另一方面理解，$RP$问题的解空间是$DRP$的解空间的子集。因此，若$DRP$问题的最优解满足$DP$的所有约束，则$DRP$的最优解即为$RP$问题的最优解。

综上所述，当求出$RP$的最优解$x^{\prime \ast }$时，要判断其是否是$P$的最优解$x^{\ast }$，则需要判断$DRP$模型最优解$y^{\ast }$是否满足$DP$中的所有约束。设$a_i$为系数矩阵$A$中的列向量，则模型$DP$可以重新写为:

max $w=y^{T}b$
$(DP)$ $\{\begin{array}{l}{a}_i^{T}y\le c_i,i=1,2,...,n\\ y\ge 0\end{array}(13)$

因此，若$y^{\ast }$是$DP$的最优解，即满足$DP$的所有约束，则应该$a_i^T{y}^{\ast }\le c_i,\forall i=1,2,...,n$。判断$y^{\ast }$是否满足$(13)$中的所有约束，等价于求解$(14)$

$(14)$
min $z=c_i-a_i^T{y}^{\ast }$
$a_i\in A$

如果我们求解该问题$w^{\ast }\ge 0$，即$\forall i,a_i^T{y}^{\ast }\le c_i$，此时$y^{\ast }$即为$DP$的最优解。若$w^{\ast }<0$，则应添加相应的$a_{i^{\ast }}$，继续求解，直到$w^{\ast }\ge 0$为止。

集合覆盖模型

该部分建立该问题的集合覆盖(set-covering model)，如下所示：

min $\sum _{j\in P}{x}_j$

$\{\begin{array}{l}\sum _{j\in P}{n}_{ji}{x}_j\ge d_i,i\in N\\ x_j\in N,j\in P\end{array}(15)$

其中，$P$为所有可行的切割方式$(pattern)$，$n_{ji}$为pattern $j$中第$i$中类型需求的数量，$x_j$为pattern $j$的使用数目。

但是事实上，实现罗列出来所有可行的pattern 是不可行的，而往往在最优解中使用到的pattern的数量一般是远远小于总的pattern数量的。因此，借鉴列生成的思路，从有限列（即限制问题$RP$）出发，经过不断的迭代，每次判断当前有限列是否达到最优，若达到，返回当前最优解；否则，添加列，直至达到最优为止。其流程图如下所示。

Created with Raphaël 2.2.0 开始 求解RP 求解定价子问题 reduced cost < 0？ 添加列至RP 结束 yes no

列生成步骤说明

本部分通过一维cutting问题的实例详细说明该问题的求解步骤。
设初始集合覆盖模型系数矩阵为：

$n=\left[\begin{array}{lcccc}5& 0& 0& 0& 0\\ 0& 2& 0& 0& 0\\ 0& 0& 2& 0& 0\\ 0& 0& 0& 2& 0\\ 0& 0& 0& 0& 1\end{array}\right]$

如第1列$n_1=(5,0,0,0,0{)}^T$代表的切割方式表示第一种类型需求为5，其余为0，因为$\lfloor \frac{L}{l_1}\rfloor =5$，其余列以此类推。

事实上，建立一个这样的初始求解系数矩阵，能保证问题始终存在可行解。

$iter$ 1:求解限制问题$RP$,$x^{\ast }=(9.6,17.5,12,5,8{)}^T$，对应的对偶变量$\pi =(0.2,0.5,0.5,0.5,1.0{)}^T$，求解定价子问题：

min $z=1-y^T\pi$

$\{\begin{array}{l}\sum _{i\in N}{y}_i{l}_j\le L\\ y_i\in N\end{array}$

$y_i$表示在该可行的patern中第$i$中类型需求的数目，则$y^{\ast }=(1,2,0,0,0{)}^T$，$z^{\ast }=-0.2<0$，因此添加$(1,2,0,0,0{)}^T$到原问题系数列，继续求解；

$iter$ 2: 求解新的$RP$问题，$x^{\ast }=(6.1,0，12,5,8，17.5{)}^T$，对应的对偶变量$\pi =(0.2,0.4,0.5,0.5,1.0{)}^T$，求解定价子问题，$y^{\ast }=(1,0,0,0,1{)}^T$，$z^{\ast }=-0.2<0$，因此添加$(1,0,0,0,1{)}^T$到原问题系数列，继续求解；

$iter$ 3: 求解新的$RP$问题，$x^{\ast }=(4.5,0，12,5,0,17.5,8{)}^T$，对应的对偶变量$\pi =(0.2,0.4,0.5,0.5,0.8{)}^T$，求解定价子问题，$y^{\ast }=(3,0,1,0,0{)}^T$，$z^{\ast }=-0.1<0$，因此添加$(3,0,1,0,0{)}^T$到原问题系数列，继续求解；

$iter$ 3: 求解新的$RP$问题，$x^{\ast }=(0,0,8.25,5,0,17.5,8,7.5{)}^T$，对应的定价子问题$z^{\ast }>0$，结束循环，输入最优解46.25；

由上述问题可以看到，对列生成求解的下界向上取整，其值和最优解相等。因为，集合覆盖模型往往能获得一个更好的下界，因为一般来说，集合覆盖模型的可行解是原问题的可行解，而原问题的可行解不一定是结合覆盖模型和可行解。

python 代码实现

本博客所有涉及模型实现和列生成算法为python调用gurobi编写，相关代码链接可见 https://github.com/shaoxiang-zheng/operation-algorithm.git