矩阵分解——三角分解（Cholesky 分解）

• （1）一个对角元素都是1的下三角矩阵，称为单位下三角矩阵。

• （2）上（下）三角矩阵的乘积仍是上（下）三角矩阵；

• （3）一般来说，矩阵的三角分解不唯一。

• （4）实对称正定矩阵 A ， Δk>0 （ k=1,2,⋯,n ）

三角分解

如果方阵 A 可分解为一个下三角矩阵 L 和一个上三角矩阵 U 的乘积，则称 A 可作三角分解或 LU(LR) 分解。如果 A 可分解成 A=LDU ，其中 L 是单位下三角矩阵， D 是对角矩阵， U 是单位上三角矩阵，则称 A 可做 LDU 分解。

设 A=(aij) 是 n 阶矩阵，则当且仅当 A 的顺序主子式 Δk≠0 （ k=1,2,⋯,n−1 ，为什么要求到 n−1 ，因为 ΔkΔk−1 ）时， A 可唯一地分解为 LDU ，其中 L 为单位下三角矩阵， U 为单位上三角矩阵， D 是对角矩阵，

D=diag(d1,d2,⋯,dn)

其中， dk=ΔkΔk−1 （ k=1,2,⋯,n;Δ0=1 ）

Cholesky 分解（平方根分解）

当 A 为实对称正定矩阵（样本的协方差矩阵）时， Δk>0 （ k=1,2,⋯,n ），有唯一的 LDU 分解，即：

A=LDU

其中 D=diag(d1,d2,⋯,dn) ，且 di>0 （ i=1,2,⋯,n ），令：

D~=diag(d1−−√,d2−−√,⋯,dn−−√)

于是有：

A=LD~2U

由 AT=A ，得：

LD~2U=UTD~2LT

再由分解的唯一性得：

L=UT,U=LT

因而有：

A=LD~2LT=LDLT

或者：

A=LD~2LT=(LD~)(LD~)T=GGT

Cholesky 分解在计算马氏距离时的作用

Σ 协方差矩阵首先是实对称半正定的，如果其全部对角线元素为正的，则 Σ 就为实对称正定矩阵，可进行 Cholesky 未解（ L 为下三角矩阵）：

Σ=LLT

我们在计算样本 X 中的两特征向量的距离时，如果使用马氏距离的计算公式：

D(x,y)=(x−y)TΣ−1(x−y)−−−−−−−−−−−−−−−√

直接对 Σ 求逆计算复杂度极高，我们将Cholesky 分解后的 LLT ，代入计算式：

D(x,y)=[L−1(x−y)]T[L−1(x−y))]−−−−−−−−−−−−−−−−−−−−−−−√