( Incomplete ) Cholesky decomposition

( Incomplete ) Cholesky decomposition

Cholesky分解是一种分解矩阵的方法, 在线形代数中有重要的应用。Cholesky分解把矩阵分解为一个下三角矩阵以及它的共轭转置矩阵的乘积（那实数界来类比的话，此分解就好像求平方根）。与一般的矩阵分解求解方程的方法比较，Cholesky分解效率很高。
Cholesky是生于19世纪末的法国数学家，曾就读于巴黎综合理工学院。Cholesky分解是他在学术界最重要的贡献。后来，Cholesky参加了法国军队，不久在一战初始阵亡。

基本概念介绍：

Cholesky decomposition：

乔里斯基分解是将一个正定Hermite矩阵分解成为一个下三角阵和它的共轭转置阵的乘积。如果矩阵A是正定Hermite阵，那么矩阵A可以做如下分解： A=LL∗ ，其中其中L是一个下三角矩阵且主对角线元素严格正定， L∗ 是 L 的共轭转置矩阵。这就是乔里斯基分解。

唯一性：
乔里斯基分解是唯一的：给定一个正定Hermite矩阵A，只有唯一一个主对角线元素严格正定的下三角矩阵L，满足 A=LL∗ 。其逆命题也成立：对于可逆下三角阵L，若矩阵A能被分解成 LL∗ ，那么矩阵A是正定Hermite矩阵。

可放松条件，但不唯一：
矩阵L主对角线严格正定的要求可以放松为半正定情形。则定理可以表达为：一方阵A可做乔里斯基分解当且仅当其为半正定Hermite矩阵。对于半正定矩阵的乔里斯基分解一般不是唯一的。

Incomplete Cholesky decomposition：

如果上文中的L是NxN矩阵，不完全Cholesky 分解则的目标是找到一个NxM维的矩阵（其中 M≪N ），使得差值 A−L˜L˜∗ 小于一个给定的值 η ，也就是找到Cholesky分解的一个近似分解，这样也许可以在某些不太影响效果的场合降低计算成本。

算法实现：

Cholesky decomposition：

Cholesky分解对称正定矩阵三角分解的一个基本方法。该方法是LU的特殊形式，其中L和U转置。利用这个性质我们可以方便的解得L的值。然后再利用LU法的回代过程的到方程组的解。

Incomplete Cholesky decomposition:

参考文献：Kernel Independent Component Analysis