矩阵 LUP 分解 解线性方程组 求行列式值 矩阵求逆 算法说解

算法：矩阵 LUP 分解

本文着笔于矩阵 LUP 分解算法，以及利用矩阵的 LUP 分解来解线性方程组、求矩阵对应行列式的值、求逆矩阵。

对于矩阵的定义代码如下：

struct Matrix
{
	double dat[MAX_N][MAX_N],det,LUdat[MAX_N][MAX_N],rev[MAX_N][MAX_N];
	int dgr,pi[MAX_N];
	bool LUP_Decomposition();
	VectorColumn LUP_Solve(VectorColumn);
	void GetDeterminant();
	void GetReverse();
};

矩阵的 LUP 分解

矩阵 A 的 LUP 分解即为找到下三角矩阵 L、上三角矩阵 U、行置换矩阵 P 使得 PA = LU ，实现方法为高斯消元。

$$\begin{array}{c}E\end{array}=\begin{array}{c}I\end{array}=\left(\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right),e_{ij}=\{\begin{array}{ll}1& i=j\\ 0& i̸=j\end{array}$$

初始矩阵 P = E。对于矩阵 A，我们可以将它分解成这样两个矩阵的乘积（这里直接借用了 Introduction to Algorithms 里的描述）
$$\begin{array}{c}A\end{array}=\left(\begin{array}{cc}{a}_{11}& {\omega }^T\\ \nu & A^{\prime }\end{array}\right)=\left(\begin{array}{cc}1& 0\\ \nu /a_{11}& I_{n-1}\end{array}\right)\left(\begin{array}{cc}{a}_{11}& {\omega }^T\\ 0& A^{\prime }-\nu {\omega }^T/a_{11}\end{array}\right)$$

这样，将这个规模为 n 的问题分解为一个规模为 n - 1 的子问题，迭代之即可求得矩阵 PA 的 LU 分解。最后得到的矩阵 U 相当于高斯消元后的结果，因为求矩阵 U 的实质是用当前规模矩阵的第一行的相应倍数减其它行，将其它行首列元素消为 0。

为了避免除数为零或过小引起精度问题，在迭代到矩阵第 i 行时，我们可以找到 j 使得 $|A_{j,i}|$ 尽可能大，其中 $i\le j\le n$。当 i 不等于 j 时，交换矩阵 PA 的第 i 行与第 j 行，相当于矩阵 A 不变，矩阵 P 的第 i 行与第 j 行交换。

对于矩阵的 LUP 分解代码如下：

#define ABS(x) \
({ \
	typeof(x) __tmp_x=(x); \
	__tmp_x<0?-__tmp_x:__tmp_x; \
})

#define EXCHANGE(a,b) \
{ \
	typeof(a) __tmp_a=(a); \
	a=b,b=__tmp_a; \
}

bool Matrix::LUP_Decomposition()
{
	int p;
	for(int i=1;i<=dgr;i++)
	{
		pi[i]=i;
		for(int j=1;j<=dgr;j++)
			LUdat[i][j]=dat[i][j];
	}
	det=1;
	for(int i=1;i<=dgr;i++)
	{
		p=i;
		for(int j=i+1;j<=dgr;j++)
			if(ABS(LUdat[j][i])>ABS(LUdat[p][i]))
				p=j;
		if(LUdat[p][i]==0)
			return false;
		if(p!=i)
		{
			det=-det;
			EXCHANGE(pi[i],pi[p]);
		}
		for(int j=1;j<=dgr;j++)
		EXCHANGE(LUdat[i][j],LUdat[p][j]);
		for(int j=i+1;j<=dgr;j++)
		{
			LUdat[j][i]/=LUdat[i][i];
			for(int k=i+1;k<=dgr;k++)
				LUdat[j][k]-=LUdat[j][i]*LUdat[i][k];
		}
	}
	return true;
}

时间复杂度 $O(n^3)$。

矩阵求解线性方程组

对于线性方程组
$$\{\begin{array}{llcc}{a}_{11}{x}_1+& a_{12}{x}_2+\cdots +& a_{1n}{x}_n=& b_1\\ a_{21}{x}_1+& a_{22}{x}_2+\cdots +& a_{2n}{x}_n=& b_2\\ ⋮& ⋮& ⋮& ⋮\\ a_{n1}{x}_1+& a_{n2}{x}_2+\cdots +& a_{nn}{x}_n=& b_n\end{array}$$

构建矩阵 A 和列向量 B，使得
$$\begin{array}{c}A\end{array}=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right),\begin{array}{c}B\end{array}=\left(\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_n\end{array}\right)$$

矩阵求解线性方程组即对于矩阵 A 和列向量 B，找到列向量 X，使得
$$\begin{array}{c}A\end{array}\begin{array}{c}X\end{array}=\begin{array}{c}B\end{array}$$

两边同乘 P，得
$$\begin{array}{c}L\end{array}\begin{array}{c}U\end{array}\begin{array}{c}X\end{array}=\begin{array}{c}P\end{array}\begin{array}{c}A\end{array}\begin{array}{c}X\end{array}=\begin{array}{c}P\end{array}\begin{array}{c}B\end{array}$$

设列向量 Y = UX，得
$$\begin{array}{c}L\end{array}\begin{array}{c}Y\end{array}=\begin{array}{c}P\end{array}\begin{array}{c}B\end{array}$$

设数组 ${\pi }_{1..n}$，其中 ${\pi }_i$ 表示矩阵 P 中第 i 行第 ${\pi }_i$ 列元素为 1，第 i 行其余元素均为 0，则 LY = PB 对应的方程组为
$$\{\begin{array}{llccc}{l}_{11}{y}_1& & & & b_{{\pi }_1}\\ & & & =& \\ l_{21}{y}_1+& l_{22}{y}_2& & & b_{{\pi }_2}\\ & & & =& \\ ⋮& ⋮& & & ⋮\\ & & & & \\ l_{n1}{y}_1+& l_{n2}{y}_2+\cdots +& & & b_{{\pi }_n}\\ & & l_{nn}{y}_n& =& \end{array}$$

由定义，矩阵 L 中对角线元素均为 1。从上往下依次解出 $y_{1..n}$，这样解出 Y 后，利用方程 UX = Y，解出 X 即可。对应方程组为
$$\{\begin{array}{llccc}& & u_{1n}{x}_n& & y_1\\ u_{11}{x}_1+& u_{12}{x}_2+\cdots +& & =& \\ & & u_{2n}{x}_n& & y_2\\ & u_{22}{x}_2+\cdots +& & =& \\ & & ⋮& & ⋮\\ & & & & \\ & & u_{nn}{x}_n& & y_n\\ & & & =& \end{array}$$

从下往上依次解出 $x_{n..1}$。在具体实现过程中，由于结果中 Y 无需保留，列向量 X 和 Y 可共用存储空间。

对于求解线性方程组的代码如下：

struct VectorColumn
{
	double dat[MAX_N];
	int raw;
};

VectorColumn Matrix::LUP_Solve(VectorColumn b)
{
	VectorColumn x;
	x.raw=dgr;
	for(int i=1;i<=dgr;i++)
	{
		x.dat[i]=b.dat[pi[i]];
		for(int j=1;j<i;j++)
			x.dat[i]-=LUdat[i][j]*x.dat[j];
	}
	for(int i=dgr;i>=1;i--)
	{
		for(int j=dgr;j>i;j--)
			x.dat[i]-=LUdat[i][j]*x.dat[j];
		x.dat[i]/=LUdat[i][i];
	}
	return x;
}

时间复杂度 $O(n^2)$。（若算上矩阵 LUP 分解，总时间复杂度 $O(n^3)$）

矩阵的行列式值求解

由行列式性质可知
$$\left|\begin{array}{c}P\end{array}\right|\left|\begin{array}{c}A\end{array}\right|=\left|\begin{array}{c}L\end{array}\right|\left|\begin{array}{c}U\end{array}\right|$$

其中，L 为对角线元素均为 1 的下三角矩阵，故其行列式值为 1；U 为上三角矩阵，其行列式值为对角线元素之积；P 初始行列式值为 1，每对 P 进行一次行交换，相当于行列式值取其相反数。

在具体实现过程中，行列式值的初值为 1 或 -1 在 LUP 分解过程中决定，此部分代码见上文。

对于矩阵的行列式值求解代码如下：

void Matrix::GetDeterminant()
{
	for(int i=1;i<=dgr;i++)
		det*=LUdat[i][i];
}

时间复杂度 $O(n)$。（若算上矩阵 LUP 分解，总时间复杂度 $O(n^3)$）

矩阵求逆

求矩阵 $A$ 的逆矩阵，即对于矩阵 $A$ 和单位矩阵 $E$，找到矩阵 $A^{-1}$，使得 $A{A}^{-1}=E$。

对于矩阵 $A^{-1}$ 和矩阵 $E$ 的任一列，设列数为 $i$，构建列向量
$$\begin{array}{c}{A}_{col(i)}^{-1}\end{array}=\left(\begin{array}{c}{a}_{1i}\\ a_{2i}\\ ⋮\\ a_{ni}\end{array}\right),\begin{array}{c}{E}_{col(i)}\end{array}=\left(\begin{array}{c}{e}_{1i}\\ e_{2i}\\ ⋮\\ e_{ni}\end{array}\right)$$

则有
$$\begin{array}{c}A\end{array}\begin{array}{c}{A}_{col(i)}^{-1}\end{array}=\begin{array}{c}{E}_{col(i)}\end{array}$$

套用矩阵求解线性方程组的方法即可。

对于矩阵求逆的代码如下：

void Matrix::GetReverse()
{
	VectorColumn curcol,revcol;
	curcol.raw=dgr;
	for(int i=1;i<=dgr;i++)
		curcol.dat[i]=0;
	for(int i=1;i<=dgr;i++)
	{
		curcol.dat[i-1]=0,curcol.dat[i]=1;
		revcol=LUP_Solve(curcol);
		for(int j=1;j<=dgr;j++)
			rev[j][i]=revcol.dat[j];
	}
}

时间复杂度 $O(n^3)$。