单纯形算法 Simplex Algorithm (一)

单纯形算法是求解线性规划问题最经典的方法，在许多介绍该算法的文章中会使用单纯形表(Tableau)辅助计算，而对Tableau进行的操作本质上都是在对松弛化的线性规划模型进行矩阵运算，从几何表现上看，就是在线性规划问题的定义域上的顶点中迭代搜索，寻找使得目标函数最优的那个顶点。使用Tableau计算虽然很高效，不过对于理解算法原理帮助不大；单纯形算法的原理是基于线性代数的，如果要彻底理解，还是需要很多基础的矩阵知识的。这篇文章里我只是记录和单纯形算法相关的线性代数知识，加深对该算法中一些术语的记忆和理解；算法里更加具体的线代原理则跳过，那已经超过了我的认知水平，在后续文章中会记录更容易理解的算法计算过程。

线性规划松弛形式

在应用算法前，必须对原始的线性规划模型进行预处理，先转换成标准线性规划模型，再转换成松弛线性规划模型。标准线性规划模型的形式：
$$\begin{array}{rl}max& Z={\mathbf{c}}^T\mathbf{x}\\ s.t.& \mathbf{A}\mathbf{x}\le \mathbf{b}\\ & \mathbf{x}\ge 0\end{array}$$
具体形式：
$$\begin{array}{rl}max& Z=c_1{x}_1+c_2{x}_2+...+c_n{x}_n\\ s.t.& \left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ .& .& .& .\\ a_{m1}& a_{m2}& ...& a_{mn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ .\\ x_n\end{array}\right]\le \left[\begin{array}{c}{b}_1\\ b_2\\ .\\ b_m\end{array}\right]\\ & \mathbf{x}\ge 0\end{array}$$
如果将一个原始的线性规划模型标准化? 如果目标是最小化，则乘上-1变成最大化目标(当然标准模型的目标函数也可以是最小化，两者本质是相同的，只不过算法的某些细节上互为相反)；如果约束是$\ge$，两边同乘-1；如果某个变量$x_i<0$，那么定义$x_i=x^{\prime }-x^{\prime \prime }$，并且$x^{\prime }\ge 0,x^{\prime \prime }\ge 0$，将原变量替换成$x^{\prime }$和$x^{\prime \prime }$

然后将标准形式转换成松弛形式，其实就是给每个约束不等式上引入松弛变量$s$，将所有的约束不等式转换成等式：
$$\begin{array}{rl}max& Z={\mathbf{c}}^T{\mathbf{x}}^{\prime }\\ s.t.& {\mathbf{A}}^{\prime }{\mathbf{x}}^{\prime }=\mathbf{b}\\ & {\mathbf{x}}^{\prime }\ge 0\end{array}$$
即:
$$\begin{array}{rl}max& Z=c_1{x}_1+c_2{x}_2+...+c_n{x}_n\\ s.t.& a_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n+s_1=b_1\\ & a_{21}{x}_1+a_{22}{x}_2+...+a_{2n}{x}_n+s_2=b_2\\ & ...\\ & a_{m1}{x}_1+a_{m2}{x}_2+...+a_{mn}{x}_n+s_m=b_m\\ & x_1,x_2,...,x_n,s_1,...,s_m\ge 0\end{array}$$
写出矩阵形式
$$\begin{array}{rl}max& Z=c_1{x}_1+c_2{x}_2+...+c_n{x}_n\\ s.t.& \left[\begin{array}{cccccccc}{a}_{11}& a_{12}& ...& a_{1n}& 1& 0& ...& 0\\ a_{21}& a_{22}& ...& a_{2n}& 0& 1& ...& 0\\ .& .& .& .& .& .& ...& .\\ a_{m1}& a_{m2}& ...& a_{mn}& 0& 0& ...& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ .\\ x_n\\ s_1\\ s_2\\ .\\ s_m\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ .\\ b_m\end{array}\right]\\ & {\mathbf{x}}^{\prime }\ge 0\end{array}$$
在松弛形式下，原来的$n$个变量$x_1,x_2,...,x_n$，加上$m$个松弛变量$s_1,s_2,...,s_m$变成$n+m$个变量，而约束还是$m$个等式，所以这个方程组是一个欠定线性方程组，是不可能有唯一解的。

可以看到松弛后的系数矩阵$A^{\prime }$是在原系数矩阵上加上$m$维单位矩阵构成的增广系数矩阵:
$$A^{\prime }=\left[\begin{array}{cccccccc}{a}_{11}& a_{12}& ...& a_{1n}& 1& 0& ...& 0\\ a_{21}& a_{22}& ...& a_{2n}& 0& 1& ...& 0\\ .& .& .& .& .& .& ...& .\\ a_{m1}& a_{m2}& ...& a_{mn}& 0& 0& ...& 1\end{array}\right]=[\mathbf{A}|\mathbf{I}]$$
如果$A^{\prime }$是满秩矩阵，即$Rank(A^{\prime })=m$，那么也就意味着$A^{\prime }$的$n+m$列中最多只会有$m$列线性无关，也就是说这$m$列互相之间无法线性组合，而除了这$m$列之外的系数列，都可以用这$m$列线性表示；所以这$m$列其实就是一个$m$维空间的基底。观察上面定义里的增广矩阵$A^{\prime }$，可以看到后面附加的$m$维单位矩阵就是线性无关的，所以这个$m$列的单位矩阵就是一个基底。

相关定理

应用单纯形算法是基于一些基本定理的，这些定理都有严格的数学证明，我们只需要知道就可以：

• 如果线性规划存在可行域，则可行域为凸集
• 线性规划的基可行解对应于可行域的顶点
• 如果线性规划有最优解，则一定存在基可行解(或者说可行域的一个顶点)为最优解

这里提到了一个关键的名词"基可行解"，关于它的含义下文会详细描述。
用一个简单的例子来帮助理解：
$$\begin{array}{rl}max& Z=40x_1+50x_2\\ s.t.& x_1+2x_2\le 40\\ & 4x_1+3x_2\le 120\\ & x_1,x_2\ge 0\end{array}$$
我们可以在二维平面上可以画出它的定义域：

黄色部分就是该问题的可行域，它的边界是一个凸包，有A, B, C和原点O四个顶点，这四个顶点对应的$x1,x2$的值都是原问题的可行解，并且顶点$B(24,8)$对应的目标值1360是原问题的最优目标值，$x_1=24,x_2=8$就是原问题的最优解

基变量和基可行解

如上面所述，对于松弛后的规划模型，其系数矩阵$A^{\prime }$及其对应的变量${\mathbf{x}}^{\prime }$可以写成如下的分块矩阵形式：
$${\mathbf{A}}^{\prime }=[\mathbf{A}\mathbf{I}],{\mathbf{x}}^{\prime }=\left[\begin{array}{c}x\\ x_b\end{array}\right]$$
这个表示形式不仅是只可以用在初始的松弛模型，也可以在算法任意的变换过程中进行表示，因为可以对增广系数矩阵进行初等行变换(高斯消元)；另外实际的计算过程中并不需要严格按这种形式，这里只是为了帮助理解。在这种表示形式下，我们把单位矩阵$\mathbf{I}$对应的变量部分${\mathbf{x}}_{\mathbf{b}}$称为基变量，因为单位矩阵的$m$列线性无关，是一个基底；与之相对的，把$\mathbf{A}$对应的变量部分$x$称为非基变量

定义基变量和非基变量的目的是为了生成问题的可行解。松弛后的规划问题的约束方程组数量只有$m$个，但变量有$n+m$个，所以如果要从方程组计算出一个解，必须要固定住其中$n$个变量的值，进而计算出剩下$m$个变量的值。在定义了基变量和非基变量后，我们令所有的非基变量等于零$\mathbf{x}=0$，那么剩下的基变量则可以直接得到:
$${\mathbf{x}}_{\mathbf{b}}=b$$
由此得到松弛线性规划的一个解：
$$\mathbf{x}=\left[\begin{array}{c}0\\ b\end{array}\right]$$
我们称这个解为基解，注意基解未必是可行的，为什么呢? 因为在经过高斯消元形成上面的分块矩阵后，等式右侧的$b$未必所有元素都大于零，那么基解中就会存在负数分量，这是不满足松弛问题的基本约束的。
如果任意选择$m$个变量作为基变量，那么存在$C_{n+m}^m=C_{n+m}^n$个基解，不过这里面只有部分解能满足都大于零的约束，称这些基解为基可行解，我们的计算目标也就是要找到使得目标函数最大的基可行解

出基入基

单纯形算法的基本过程就是一个在$\mathbf{A}$加上$\mathbf{b}$的增广矩阵上进行高斯消元的迭代过程；每次迭代中，$\mathbf{A}$中的一列会被选中，和上个迭代中$\mathbf{I}$的一列进行互换(对应的两个变量则进行行互换操作)，重新进行高斯消元，从而得到一个新的基解；迭代的终止条件找到使目标最大的基可行解；并且迭代中采用一些措施来保证每次迭代找到基解都是可行解，这些措施的具体内容本文略过。

我们还是用上面那个例子来理解出基入基的操作：
$$\begin{array}{rl}max& Z=40x_1+50x_2\\ s.t.& x_1+2x_2\le 40\\ & 4x_1+3x_2\le 120\\ & x_1,x_2\ge 0\end{array}$$
这个问题的松弛形式:
$$\begin{array}{rl}max& Z=40x_1+50x_2\\ s.t.& x_1+2x_2+s_1=40\\ & 4x_1+3x_2+s_2=120\\ & x_1,x_2,s_1,s_2\ge 0\end{array}$$
这个最初始的松弛形式的约束方程组就对应了一个基变量分块表示形式：
$$\left[\begin{array}{cccc}1& 2& 1& 0\\ 4& 3& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ s_1\\ s_2\end{array}\right]=\left[\begin{array}{c}40\\ 120\end{array}\right]$$
也就是说变量$s_1$和$s_2$是初始的基变量，$x_1$和$x_2$是非基变量，我们将$x_1=x_2=0$，从而得到$s_1=40,s_2=120$，我们找到了一个最初的基可行解：
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ s_1\\ s_2\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 40\\ 120\end{array}\right]$$
并且这个初始解就对应于原始问题定义域上的原点：

现在我们尝试把变量$x_1$和$s_1$进行"交换"，也就是把$s_1$移出基变量组，把$x_1$移入基变量组：

对这个进行了出基和入基变换的增广矩阵进行初等行变换操作：
$$\begin{gathered} \left[\begin{array}{ccccc}1& 2& 1& 0& 40\\ 0& 3& 4& 1& 120\end{array}\right] \\ ⟹\left[\begin{array}{ccccc}1& 2& 1& 0& 40\\ -4& -5& 0& 1& -40\end{array}\right] \end{gathered}$$
即：
$$\left[\begin{array}{cccc}1& 2& 1& 0\\ -4& -5& 0& 1\end{array}\right]\left[\begin{array}{c}{s}_1\\ x_2\\ x_1\\ s_2\end{array}\right]=\left[\begin{array}{c}40\\ -40\end{array}\right]$$
由此我们得到了这样一个基解
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ s_1\\ s_2\end{array}\right]=\left[\begin{array}{c}40\\ 0\\ 0\\ -40\end{array}\right]$$
这里$s_2$小于零，这个解是不可行的，所以我们拿$x_1$和$s_1$来互换是不行的。

我们再试下$x_2$和$x_1$进行出基入基操作：

$$\begin{gathered} \left[\begin{array}{ccccc}1& 1& 2& 0& 40\\ 4& 0& 3& 1& 120\end{array}\right] \\ ⟹\left[\begin{array}{ccccc}1& 1& 2& 0& 40\\ \frac{5}{2}& -\frac{3}{2}& 0& 1& 60\end{array}\right] \\ ⟹\left[\begin{array}{ccccc}\frac{1}{2}& \frac{1}{2}& 1& 0& 20\\ \frac{5}{2}& -\frac{3}{2}& 0& 1& 60\end{array}\right] \end{gathered}$$
我们得到了一个基可行解：
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ s_1\\ s_2\end{array}\right]=\left[\begin{array}{c}0\\ 20\\ 0\\ 60\end{array}\right]$$
这个基可行解对应于原始问题定义域上的顶点A，该解的目标值为$40x_1+50x_2=1000$；可以看到这样的一个出基入基操作也对应从顶点O移到顶点A的过程；点A还不是最优解，它还需要移到点B上才是最优解：

通过这个例子可以看到，在单纯形算法的每次迭代中，有两个很关键的问题需要解决：

• 如何保证出基和入基操作后解的可行性
• 如何判断当前是否到达最优解从而退出算法

这两个点我放到后面一篇文章中叙述。