【代数之美】线性方程组Ax=0的求解方法

在3D视觉中，我们常常会遇到这样一个问题：求解线性方程组$Ax=0$，从矩阵映射的角度来说，所有解组成了矩阵$A$的零空间。一个典型的场景比如用八点法求解本质矩阵$E$，参见我前面的博文：立体视觉入门指南（2）：关键矩阵（本质矩阵，基础矩阵，单应矩阵）。这是一个基础且常见的线性代数问题，本篇我们来讨论下此类问题的解法，也算是一个入门课程。

显而易见的解

对于$Ax=0$，很明显，$x=0$必然是其中一个解，但是对我们实际应用来说，得到一个零解往往没有什么意义，所以不做讨论。

非零特解

如前所述，我们实际要得到的，是非零解，它们显然比零解要隐藏的深。

在讨论非零解之前，我们必须介绍一下特解的概念。一个显而易见的点是，$Ax=0$是尺度不变的，即若$x_s$是其中一个解，则$k_s{x}_s$必然也是其解（$k_s$是实数），而$k_s{x}_s$和$x_s$是线性相关的；再进一步，如果$x_t$是另一个与$x_s$线性无关的解，即
$$A{x}_s=0,A{x}_t=0,x_s和x_t线性无关$$

则显然$A(k_s{x}_s+k_t{x}_t)=0$也是成立的（$k_s,k_t$是实数），即$k_s{x}_s+k_t{x}_t$也是方程的解。这揭示一个现象：如果方程组$Ax=0$有若干个线性无关解$x_1,x_2,...,x_n$，则$x_1,x_2,...,x_n$的任意线性组合也是其解，换句话说，所有的解都可以通过$x_1,x_2,...,x_n$来线性组合。 我们便把这些线性无关解$x_1,x_2,...,x_n$称为方程组$Ax=0$的特解。

所以，我们的目的，实际上是要计算所有的非零特解。

那么首先我们想搞清楚，到底有多少非零特解呢？

我们从消元回代解法来分析，假设一个矩阵$A\in R^{m\times n}(m=3,n=4)$：
$$A=\left[\begin{array}{cccc}1& 3& 6& 6\\ 2& 2& 4& 8\\ 4& 4& 8& 16\end{array}\right]$$

首先对$A$进行消元，
$$\left[\begin{array}{cccc}1& 3& 6& 6\\ 2& 2& 4& 8\\ 4& 4& 8& 16\end{array}\right]\to \left[\begin{array}{cccc}1& 3& 6& 6\\ 2& 2& 4& 8\\ 0& 0& 0& 0\end{array}\right]\to \left[\begin{array}{cccc}\boxed{1}& 3& 6& 6\\ 0& \boxed{2}& 4& 2\\ 0& 0& 0& 0\end{array}\right]$$

在消元后的矩阵中，方框内的1和2称为主变量（pivot variable），也称为主元。主元的个数称为矩阵的秩，这里主元的个数为2，那么矩阵A的秩（rank）也为2，即$rank(A)=2$。

主元所在的列称为主列（pivot column），这里的主列分别为第1列和第2列，其余列第3列和第4列为自由列（free column）。自由列中的变量为自由变量（free variable），自由变量的个数为$n-rank(A)=4-2=2$。

按照消元解法，在消元后我们给自由变量赋值，回代去求主列变量的值。分别给自由变量$\left[\begin{array}{c}{x}_3\\ x_4\end{array}\right]$赋值为$\left[\begin{array}{c}1\\ 0\end{array}\right]$和$\left[\begin{array}{c}0\\ 1\end{array}\right]$，回代方程得到以下两个解向量：
$$\left[\begin{array}{c}0\\ -2\\ 1\\ 0\end{array}\right],\left[\begin{array}{c}-3\\ -1\\ 0\\ 1\end{array}\right]$$

这两个解向量就是线性方程组$Ax=0$的两个非零特解，其他解都可以通过这两个解来线性表达：$x=a\left[\begin{array}{c}0\\ -2\\ 1\\ 0\end{array}\right]+b\left[\begin{array}{c}-3\\ -1\\ 0\\ 1\end{array}\right]$。也可以说特解的任意线性组合构造出矩阵$A$的整个零空间。

可知，线性方程组$Ax=0$的非零特解个数为$n-rank(A)$。

最小二乘解

以上只是从纯数学角度来分析，但在计算机科学应用中，我们最常遇到的情况是，通过大量具有一定噪声的观测值，构造方程数远大于未知量的超定线性方程组$Ax=0,A\in R^{m\times n},m\gg n$，这时候往往没有严格意义上的解。

比如在求解两张图像的本质矩阵$E$时，我们会匹配大量的特征点对，然后基于对极约束构造线性方程组$Ae=0$求解本质矩阵的元素向量$e$，特征点对的个数往往远超过本质矩阵的元素数（即$m\gg n$），且因为点位噪声的存在，对极约束不是严格成立的（即$Ax\approx 0$）。面对这种情况，我们通常的做法是求最小二乘解。即：
$$\hat{x}=\arg \underset{x}{\min }||Ax|{|}_2^2$$

但我们立马发现一个问题，如前所述的尺度不变性，如果$x_s$是一个解，则$k_s{x}_s$也是解，则当我们求出一个解后，无限减小解向量的模长，$||Ax|{|}_2^2$不就会无限小吗，到底该取哪个呢？这显然这陷入一个僵局。

所以，我们要给$x$一个约束，即限定它的模长为一个常量，比如最常用的单位模长1，即$x$必须满足，$||x|{|}_2^2=1$。这就重新构建了一个带约束的最小二乘问题：
$$\hat{x}=\arg \underset{x}{\min }||Ax|{|}_2^2,\text{subject to}||x|{|}_2^2=1$$

根据拉格朗日乘数法，另
$$L(x,\lambda )=||Ax|{|}_2^2+\lambda (1-||x|{|}_2^2)$$

要求$L(x,\lambda )$最小值，则首先求极值，即一阶偏导为0的点，我们分别对$x,\lambda$求偏导并另其等于0：
$$\begin{array}{rl}{L}^{{}^{\prime }}(x)& =2A^{T}Ax-2\lambda x=0\\ L^{{}^{\prime }}(\lambda )& =1-x^{T}x=0\end{array}$$

则有$A^{T}Ax=\lambda x$，这熟悉的公式告诉我们，$x$是矩阵$A^{T}A$特征值为$\lambda$的特征向量。

但是矩阵$A^{T}A$最多有$n$个特征值，对应着$n$个特征向量，哪一个是最小值点呢？

我们再作一下推导：当$x$是矩阵$A^{T}A$特征值为$\lambda$的特征向量时，有
$$||Ax|{|}_2^2=x^T{A}^{T}Ax=x^T\lambda x=\lambda x^{T}x=\lambda$$

因此，当$\lambda$取最小时，$||Ax|{|}_2^2$取最小值，即最小二乘解$\hat{x}$是矩阵$A^{T}A$最小特征值对应的特征向量。这就是超定线性方程组$Ax=0$的最小二乘解法。