矩阵论笔记：详细介绍矩阵的三角分解(LR分解)+平方根分解(Cholesky分解)！

详细介绍矩阵的三角分解(LR分解)+平方根分解(Cholesky分解)！

一. 三角分解(LR分解)

LR 分解( LR Decomposition )是矩阵分解的一种，可以将一个矩阵分解为一个单位下三角矩阵和一个上三角矩阵的乘积(有时是它们和一个置换矩阵的乘积)。LR 分解主要应用在数值分析中，用来解线性方程、求反矩阵或计算行列式。

1.1. 方阵的两个重要分解

内容回顾：

• ①是相似对角化： $$\mathbf{A}=\mathbf{P}\mathrm{diag}\left\{{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\right\}{\mathbf{P}}^{-1}$$
• ②是 Jordan 标准形： $$\mathbf{A}=\mathbf{P}\mathrm{diag}\left\{J_1\left({\lambda }_1\right),J_2\left({\lambda }_2\right),\cdots ,J_s\left({\lambda }_s\right)\right\}{\mathbf{P}}^{-1}$$
• 这些矩阵分解也是有问题，首先矩阵 $\mathbf{P}$(是由特征向量构成，它的性质我们不是很熟悉) 的性质我们不是很熟悉，当然中间的对角阵和对角块我们比较熟悉。我们希望把矩阵分解为形式比较简单或性质比较熟悉的若干个矩阵的乘积形式，这就叫做矩阵分解。
• 分解意义： 清晰地反映出原矩阵的某些特征，提供有效的数值计算方法和理论分析依据。
• 哪些矩阵我们比较熟悉呢？首先 Jordan 标准形，还有分块对角阵，另外还有一种三角矩阵(上三角矩阵，下三角矩阵)。而且对角元素全为1的上三角和下三角矩阵叫做单位上三角矩阵和单位下三角矩阵。

上三角矩阵	下三角矩阵
$\left[\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ & \ddots & ⋮\\ & & a_{mn}\end{array}\right]$	$\left[\begin{array}{ccc}{a}_{11}& & \\ ⋮& \ddots & \\ a_{n1}& \cdots & a_{nn}\end{array}\right]$
单位上三角矩阵(对角全1)	单位下三角矩阵(对角全1)
$\left[\begin{array}{rrrr}1& \ast & \dots & \ast \\ & \ddots & \ddots & ⋮\\ & & \ddots & \ast \\ & & & 1\end{array}\right]$	$\left[\begin{array}{cccc}1& & & \\ \ast & \ddots & & \\ ⋮& & \ddots & \\ \ast & \cdots & \ast & 1\end{array}\right]$

1.2. 上(下)三角阵的性质

• 上(下)三角阵的和、差、乘积、逆仍是上(下)三角阵；
• 单位上(下)三角阵的乘积、逆仍为单位上(下)三角阵；
• 另外系数矩阵 $\mathbf{A}$为三角阵的非齐次线性方程组 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 容易求解，也就是说如果矩阵 $\mathbf{A}$ 为上三角矩阵或者下三角矩阵，这个方程非常容易求解(本科学过对的课程非线性方程组求解高斯消元法目的就是化成三角阵)；

1.3. 三角分解的概念

• 若方阵 $\mathbf{A}$ 可分解为$$\mathbf{A}=\mathbf{L}\mathbf{R}$$ 其中 $\mathbf{L}$ 是单位下三角阵， $\mathbf{R}$ 是上三角阵，则称 $\mathbf{A}$ 可三角分解(或 LR 分解，或 Doolittle 分解).

对于非齐次线性方程组 $$\mathbf{A}\mathbf{x}=\mathbf{b}$$

• 若方阵 $\mathbf{A}$ 有三角分解 $\mathbf{A}=\mathbf{L}\mathbf{R}$，刚才的方程就可以变为2个方程，令 $\mathbf{R}\mathbf{x}=\mathbf{y}$；则 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 可分解为两个非齐次线性方程组：

• 这2个方程很容易解决，首先因为 $\mathbf{L}$ 是单位下三角矩阵，则方程 $\mathbf{L}\mathbf{y}=\mathbf{b}$ 可以变为如下：
  $$\left[\begin{array}{cccc}1& & & \\ l_{21}& 1& & \\ ⋮& \ddots & \ddots & \\ l_{n1}& \cdots & l_{mn-1}& 1\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_n\end{array}\right]$$
• 其中：可以明显发现 $y_1=b_1$，然后可以推出 $y_2$，以此类推！$$y_1\Rightarrow y_2\Rightarrow \cdots \Rightarrow y_n$$
• 再由方程组 $\mathbf{R}\mathbf{x}=\mathbf{y}$
  $$\left[\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1n}\\ & r_{22}& \ddots & r_{2n}\\ & & \ddots & ⋮\\ & & & r_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$$
• 其中 $x_n=r_{nn}$，最终我们可以得到：$$x_n\Rightarrow x_{n-1}\Rightarrow \cdots \Rightarrow x_1$$
• 所以三角分解的一个很重要的应用就是用来解非齐次线性方程组，其可以简化运算。

1.4. 三角分解的充要条件：定理1

定理1：

• 先证明充要性：

• 下面证明唯一性：

• 下面证明必要性

二. 三角分解(LR分解)的求解

2.1. 三角分解的方法之高斯消元法

下面的例子1：

• 这里也是按照前一小节中证明充分性的方法。首先我们判断一下 n-1 阶顺序主子式是否有0：

• 下面要用到高斯消元法，再系数矩阵的右边添加一个单位矩阵变成一个增广矩阵：
• 参考链接：增广矩阵！

• 这里我们已经把 $\mathbf{R}$ 算出来了就是前面的上三角矩阵，后面的是 ${\mathbf{L}}^{-1}$，我们只需要对 ${\mathbf{L}}^{-1}$ 再求逆就可以得到了 $\mathbf{L}$；这就是第一种方法高斯消元法求解三角分解，其中有求逆相对麻烦一些。

下面的例子2：

• 不存在LR分解，但是刚才我们介绍过三角分解主要作用就是用来求解线性方程的。解方程的时候只要这个矩阵是可逆的，肯定存在解。那么这个矩阵是可逆的，因此这个方程是有唯一解的。
• 如果我们想用三角分解求解这个方程，怎么办呢？我们发现只要把这个矩阵的第一行和第二行交换一下，矩阵 $\mathbf{A}$变为 $\tilde{\mathbf{A}}$，这个矩阵是满足三角分解的条件的。

• 那么问题来了？方阵 $\mathbf{A}$ 和 $\tilde{\mathbf{A}}$有什么关系呢？

注意： 置换矩阵就是单位阵置换行以后的矩阵。

2.2. 带行交换的LR分解：定理2

定理2：

下面的例子1：

• 下面利用高斯消元法求解：

2.3. 三角分解的方法之待定系数法

通过前面的求解我们发现高斯消元法有一个问题：就是我们求解完得到的有个 ${\mathbf{L}}^{-1}$，我们需要转变求解其逆矩阵得到 $\mathbf{L}$，这样求解比较麻烦，所以编程实现也比较麻烦！

• 由矩阵的乘法可以知道，$\mathbf{L}\mathbf{R}$相乘的结果和 $\mathbf{A}$ 对应位置相等。

• 我们是如何推导的呢？先算 $\mathbf{R}$ 的第一行，它和 $\mathbf{A}$ 的第一行是一样的，算完之后我们就可以算出来 $\mathbf{L}$ 的第一列。剩下我们再计算 $\mathbf{R}$ 的第二行，用算 $\mathbf{L}$ 的第二行乘以 $\mathbf{R}$ 的第二列，得到如下的3)和4)；

• 由此得到一般的公式(这个公式看着复杂，这个公式记不住没关系，我们知道先计算 $\mathbf{R}$ 的第一行，再计算 $\mathbf{L}$ 的第一列，依次进行下去(记住这个顺序)… )：

$$r_{kj}=a_{kj}-\sum _{i=1}^{k-1}{l}_{ki}{r}_{ij},j=k,k+1,\cdots ,n$$

$$l_{ik}=\frac{1}{r_{kk}}\left(a_{ik}-\sum _{m=1}^{k-1}{l}_{im}{r}_{mk}\right),i=k+1,\cdots ,n$$

下面的例子1：

• 这里我们直接用待定系数法，不用高斯消元法，当然可以用这个。

• 我们首先计算 $\mathbf{R}$ 的第一行，我们刚才知道 $\mathbf{R}$ 的第一行和 $\mathbf{A}$ 的第一行是一样的。 再算 $\mathbf{L}$ 的第一列，依次进行下去。

三. 平方根分解(Cholesky分解)

• 下面我们介绍另外一种分解叫做平方根分解，首先介绍一下预备知识LDR分解。

3.1. LDR分解的定义(预备知识)

• 这样得到的矩阵分解就是比较对称的了，所以怎么求LDR分解其实很简单：首先求解 $\mathbf{A}$ 的三角分解(LR分解) $\mathbf{A}=\mathbf{L}\mathbf{R}$；然后把 $\mathbf{R}$ 的对角元素取出来组成一个对角阵，然后 $mathbfR$ 的每一行除以相应的对角元素。

下面的例子1：

3.2. 平方根分解(Cholesky分解)

如何矩阵 $\mathbf{A}$ 是对称矩阵我们会得到什么结果？如果矩阵 $\mathbf{A}$ 又是一个正定矩阵我们又会得到什么结论？这就是我们引出的平方根分解

• 正定矩阵$\mathbf{A}$分解

注意： 为什么可以得到 ${\mathbf{L}}^{\mathbf{T}}=\mathbf{R}$ $$\begin{array}{l}{\mathbf{A}}^T=(\mathbf{L}\mathbf{D}\mathbf{R}{)}^T={\mathbf{R}}^T{\mathbf{D}}^T{\mathbf{L}}^T={\mathbf{R}}^T\mathbf{D}{\mathbf{L}}^T\end{array}$$ 再利用分解是唯一的 $$\begin{array}{l}\mathbf{A}=\mathbf{L}\mathbf{D}\mathbf{R}\end{array}$$ 又因为$\mathbf{A}$是对称矩阵，则$$\begin{array}{l}\mathbf{A}={\mathbf{A}}^T=\mathbf{L}\mathbf{D}\mathbf{R}={\mathbf{R}}^T\mathbf{D}{\mathbf{L}}^T\end{array}$$所以我们可以得到：$${\mathbf{L}}^{\mathbf{T}}=\mathbf{R}$$

• 有了上面的以后，我们再做一个分解，因为 $\mathbf{D}$ 是大于0的，我们对里面的元素进行开根号，标记为 ${\mathbf{D}}^{\frac{1}{2}}$；$${\mathbf{D}}^{\frac{1}{2}}=\left[\begin{array}{cccc}\sqrt{d_1}& & & \\ & \sqrt{d_2}& & \\ & & \ddots & \\ & & & \sqrt{d_n}\end{array}\right]$$
• 则有：$$\begin{array}{l}\mathbf{A}=\mathbf{L}\mathbf{D}\mathbf{R}=\mathbf{L}{\mathbf{D}}^{\frac{1}{2}}{\mathbf{D}}^{\frac{1}{2}}{\mathbf{L}}^{\mathrm{T}}=\left(\mathbf{L}{\mathbf{D}}^{\frac{1}{2}}\right){\left(\mathbf{L}{\mathbf{D}}^{\frac{1}{2}}\right)}^{\mathrm{T}}\end{array}$$

注意： 其中 $\mathbf{L}{\mathbf{D}}^{\frac{1}{2}}$ 是下三角矩阵。如果 $\mathbf{A}$ 是一维的，这里直接相当于一个数字乘以另外一个数字，$\mathbf{A}$ 就相当于开根号，所以这就叫平方根分解(类似一个非负数开根号)。

• 如果我们令 $\mathbf{G}=\mathbf{L}{\mathbf{D}}^{\frac{1}{2}}$，则 $\mathbf{G}$ 是对角元素大于0的下三角矩阵，且$\mathbf{A}=\mathbf{G}{\mathbf{G}}^{\mathrm{T}}$

注意： 其实平方根分解是在LDR分解的基础之上，只要是矩阵满足正定矩阵，那么LDR分解就是平方根分解。

3.3. 平方根分解的求解之高斯消元法

• 先求矩阵 $\mathbf{A}$ 的 LDR 分解，然后对 $\mathbf{D}$ 开根号，然后组合 $\mathbf{L}{\mathbf{D}}^{\frac{1}{2}}$ 就得到矩阵 $\mathbf{G}$。

下面的例子1：

• 方法1：高斯消元法，因为如果矩阵 $\mathbf{A}$ 的LDR分解$\begin{array}{l}\mathbf{A}=\mathbf{L}\mathbf{D}\mathbf{R}\end{array}$那么则有：$$\mathbf{G}=\mathbf{L}{\mathbf{D}}^{\frac{1}{2}}={\mathbf{R}}^T{\mathbf{D}}^{\frac{1}{2}}$$ 因为最早求LR分解的时候，我们只求出 $\mathbf{R}$ 后面求解的是 ${\mathbf{L}}^{-1}$(涉及到求解逆矩阵这里比较麻烦)，所以这里我们只要求解 $\mathbf{R}$ 就可以了。

• 然后把矩阵 $\mathbf{R}$(上三角矩阵)分解为对角矩阵和单位上三角矩阵，就是进行LDR分解的一部分。$$\mathbf{R}=\left[\begin{array}{ccc}5& -2& 0\\ 0& 11/5& -1\\ 0& 0& 6/11\end{array}\right]=\left[\begin{array}{ccc}5& 0& 0\\ 0& 11/5& 0\\ 0& 0& 6/11\end{array}\right]\left[\begin{array}{ccc}1& -2/5& 0\\ 0& 1& -5/11\\ 0& 0& 1\end{array}\right]$$

注意：这里 $\mathbf{L}$ 为： $$\mathbf{L}={\left[\begin{array}{rrr}1& -2/5& 0\\ 0& 1& -5/11\\ 0& 0& 1\end{array}\right]}^T$$

• 因此我们可以得到下三角矩阵 $\mathbf{G}={\mathbf{R}}^T{\mathbf{D}}^{\frac{1}{2}}$

$$\begin{array}{rl}\mathbf{G}& =\left[\begin{array}{ccc}1& 0& 0\\ -2/5& 1& 0\\ 0& -5/11& 1\end{array}\right]\left[\begin{array}{ccc}\sqrt{5}& 0& 0\\ 0& \sqrt{11/5}& 0\\ 0& 0& \sqrt{6/11}\end{array}\right]\\ & \\ & =\left[\begin{array}{ccc}\sqrt{5}& 0& 0\\ -2/\sqrt{5}& \sqrt{11/5}& 0\\ 0& -\sqrt{5/11}& \sqrt{6/11}\end{array}\right]\end{array}$$

• 所以 $\mathbf{A}$ 的平方根分解(Cholesky分解)为：

$$\mathbf{A}=\left[\begin{array}{ccc}5& -2& 0\\ -2& 3& -1\\ 0& -1& 1\end{array}\right]=\mathbf{G}{\mathbf{G}}^{\mathrm{T}}=\left[\begin{array}{ccc}\sqrt{5}& 0& 0\\ -2/\sqrt{5}& \sqrt{11/5}& 0\\ 0& -\sqrt{5/11}& \sqrt{6/11}\end{array}\right]\left[\begin{array}{ccc}\sqrt{5}& -2/\sqrt{5}& 0\\ 0& \sqrt{11/5}& -\sqrt{5/11}\\ 0& 0& \sqrt{6/11}\end{array}\right]$$

3.4. 平方根分解的求解之待定系数法

• 方法2：待定系数法

• 我们可以得到如下的方程：

• 所以 $\mathbf{A}$ 的平方根分解(Cholesky分解)为：

$$\mathbf{A}=\left[\begin{array}{ccc}5& -2& 0\\ -2& 3& -1\\ 0& -1& 1\end{array}\right]=\mathbf{G}{\mathbf{G}}^{\mathrm{T}}=\left[\begin{array}{ccc}\sqrt{5}& 0& 0\\ -2/\sqrt{5}& \sqrt{11/5}& 0\\ 0& -\sqrt{5/11}& \sqrt{6/11}\end{array}\right]\left[\begin{array}{ccc}\sqrt{5}& -2/\sqrt{5}& 0\\ 0& \sqrt{11/5}& -\sqrt{5/11}\\ 0& 0& \sqrt{6/11}\end{array}\right]$$

四. Cholesky分解用在计算马氏距离

4.1. 马氏距离

• 马氏距离度量学习的核心是获得如下式所示的马氏距离函数：
  $$d_{\mathbf{M}}^2(\mathbf{x},\mathbf{z})=(\mathbf{x}-\mathbf{z}{)}^T\mathbf{M}(\mathbf{x}-\mathbf{z})$$ 其中 $\mathbf{x}\in {\mathbb{R}}^n$ 和 $\mathbf{z}\in {\mathbb{R}}^n$ 为 $n$ 维特征空间中的 $2$ 个样本，$\mathbf{M}⪰0$ 为一个 $n\times n$ 的对称半正定(Positive Semi-definite,PSD)矩阵。严格来说，马氏距离指代的是 $d_{\mathbf{M}}(\mathbf{x},\mathbf{z})=\sqrt{(\mathbf{x}-\mathbf{z}{)}^T\mathbf{M}(\mathbf{x}-\mathbf{z})}$，这里实际上是马氏距离的平方。不过由于 $\mathbf{M}$ 是一个半正定矩阵，所以 $d_{\mathbf{M}}^2\ge 0$。 $d_{\mathbf{M}}$ 比 $d_{\mathbf{M}}^2$ 多一次计算步骤而且对最终结果没有实质影响。因此一般将上述公式所示的函数称为马氏距离函数并用它来计算距离。
• 同时由上述公式可知，在给定样本 $\mathbf{x}$ 和 $\mathbf{z}$ 之后，$d_{\mathbf{M}}^2(\mathbf{x},\mathbf{z})$ 将由矩阵 $\mathbf{M}$ 确定，即$d_{\mathbf{M}}^2(\mathbf{x},\mathbf{z})$ 是由 $\mathbf{M}$ 参数化的函数。文献中一般将矩阵 $\mathbf{M}$ 称为度量矩阵，或简称为度量，马氏距离度量学习的核心任务即为获得具有判别性的矩阵 $\mathbf{M}$。

对于 $n$ 维特征空间中两个样本间的马氏距离 $d_{\mathbf{M}}(\mathbf{x},\mathbf{z})$ ，我们要求其需要满足以下的性质：

• $\text{ (1) }{d}_{\mathbf{M}}(\mathbf{x},\mathbf{z})\ge 0(距离的非负性)$

• $\text{ (2) }{d}_{\mathbf{M}}(\mathbf{x},\mathbf{z})=0⟺\mathbf{x}=\mathbf{z}(同一性)$

• $\text{ (3) }{d}_{\mathbf{M}}(\mathbf{x},\mathbf{z})=d_{\mathbf{M}}(\mathbf{z},\mathbf{x})(距离的对称性)$

• $\text{ (4) }{d}_{\mathbf{M}}(\mathbf{x},\mathbf{y})\le d_{\mathbf{M}}(\mathbf{x},\mathbf{z})+d_{\mathbf{M}}(\mathbf{z},\mathbf{y})(距离三角不等式)$

• 为了使马氏距离函数满足上述各个性质，关键在于约束度量矩阵 $\mathbf{M}$ 的半正定性，因此在马氏距离学习方法中一般都明确约束$\mathbf{M}⪰0$。另外，马氏距离与欧氏距离也存在密切的联系，如果对度量矩阵 $\mathbf{M}$ 作 Cholesky分解有 $\mathbf{M}=\mathbf{L}{\mathbf{L}}^T$ $(\mathbf{L}$为下三角矩阵$)$
  $$\begin{array}{rl}{d}_{\mathbf{M}}^2(\mathbf{x},\mathbf{z})& =(\mathbf{x}-\mathbf{z}{)}^T\mathbf{M}(\mathbf{x}-\mathbf{z})\\ & =\mathrm{tr}\left({\mathbf{M}}^T(\mathbf{x}-\mathbf{z})(\mathbf{x}-\mathbf{z}{)}^T\right)\\ & =(\mathbf{x}-\mathbf{z}{)}^T\mathbf{L}{\mathbf{L}}^T(\mathbf{x}-\mathbf{z})\\ & ={\left({\mathbf{L}}^T(\mathbf{x}-\mathbf{z})\right)}^T{\mathbf{L}}^T(\mathbf{x}-\mathbf{z})\end{array}$$

• 令 $\mathbf{G}={\mathbf{L}}^T$，则上面的等式可以变为如下：
  $$\begin{array}{rl}{d}_{\mathbf{M}}^2(\mathbf{x},\mathbf{z})& ={\left[\mathbf{G}(\mathbf{x}-\mathbf{z})\right]}^T\left[\mathbf{G}(\mathbf{x}-\mathbf{z})\right]\\ & ={\Vert \mathbf{G}\left(\mathbf{x}-\mathbf{z}\right)\Vert }_2^2\end{array}$$

• 即两个特征表达向量间的马氏距离等价于使用 $\mathbf{G}$ 投影后的欧氏距离。当 $\mathbf{M}$ 为单位矩阵时，马氏距离就转化成了欧氏距离 $d_{\mathbf{I}}^2\left({\mathbf{x}}_i,{\mathbf{z}}_j\right)={\Vert {\mathbf{x}}_i-{\mathbf{z}}_j\Vert }_2^2$，但此时只能获得样本相同维度间的关系。

4.2. matlab实现计算马氏距离

• 测试样本971个

• 训练样本2913个

• 假设这个时候已经更新出来度量矩阵 ${\mathbf{M}}_{100\times 100}$，则可以计算马氏距离，我们可以轻易的发现计算出来的矩阵维度应该是 $2913\times 971$

function dist = MahDist(M, Xg, Xp)
% function dist = MahDist(M, Xg, Xp)
% Mahalanobis distance
Xg = Xg';
Xp = Xp';
% Input:
%   <M>: the metric kernel
%   <Xg>: features of the gallery samples. Size: [n, d]
%   [Xp]: features of the probe samples. Optional. Size: [m, d]
%
%   Note: MahDist(M, Xg) is the same as MahDist(M, Xg, Xg).
%
% Output:
%   dist: the computed distance matrix between Xg and Xp

if nargin == 2                              % nargin是用来判断输入变量个数的函数
    D = Xg * M * Xg';
    u = diag(D);
    dist = bsxfun(@plus, u, u') - 2 * D;
else
    u = sum((Xg * M) .* Xg, 2);
    v = sum((Xp * M) .* Xp, 2);
    dist = bsxfun(@plus, u, v') - 2 * Xg * M * Xp';
end

• 最终计算出来的马氏距离：

• matlab学习笔记 bsxfun函数；从计算时间上来说前两种实现差不多，远高于for的实现。但如果数据很大，第二种实现可能会有内存上的问题。所以bsxfun最好。

参考文献

• 本文主要参考国防科技大学杨文强教授课程PPT资料，这里表示感谢！