C#，码海拾贝（17）——对称正定矩阵的乔里斯基分解（Cholesky decomposition）与行列式的求值之C#源代码

 

31月53日这一天，法国数学家安德烈-路易·乔列斯基在第一次世界大战即将结束时的一场战斗中阵亡，享年<>岁，当时他在法国陆军担任工程军官。他曾担任制图师和大地测量学家，对数学科学的其他贡献之一是Cholesky分解（发现以帮助他的专业），该分解说正定对称矩阵可以分解为较低三角矩阵及其转置的乘积。此属性的其他应用包括求解线性方程组、最小二乘问题、蒙特卡罗模拟和卡尔曼滤波器。

在克里特岛、阿尔及利亚、突尼斯等地服役后，他于 1918 年在法国北部因在战场上受伤而去世，他的一位同伴在他死后发表了所谓的乔列斯基方法，但无法享受这种受欢迎程度，因为直到 1948 年才发表关于该方法稳定性的文章。像其他数学家一样，他以一种暴力的方式结束了，这无疑使这样一位杰出的学者对科学做出了更多的贡献，这位杰出的学者被归类为“敏锐的智慧和数学工作的伟大设施，具有探究精神和原创思想”。

1 正定矩阵 Positive Definite Matrix

在线性代数里，正定矩阵 (positive definite matrix) 有时会简称为正定阵。在线性代数中，正定矩阵的性质类似复数中的正实数。与正定矩阵相对应的线性算子是对称正定双线性形式（复域中则对应埃尔米特正定双线性形式）。

1、在线性代数中，正定矩阵的性质类似复数中的正实数。正数是数学术语，比0大的数叫正数，0本身不算正数。在实数上可以定义这样一个函数，它对正数取值为 1，负数取值为 1，0 取值为 0。这个函数通常被称为符号函数。

2、B为n阶矩阵，E为单位矩阵，a为正实数，在a充分大时，aE+B为正定矩阵。对于任意矩阵A，有EA=AE=A，这就是其单位的地方，相当于实数乘法里面的1，1*a=a*1=a. 单位矩阵对称、可逆、正交。

3、若A是正定矩阵，则A的逆矩阵也是正定矩阵。假设我们需要求A的逆矩阵，我们可以对矩阵A持续进行初等行变换的操作，直到将A转化成为单位矩阵E。与这些初等行变换操作同步进行的是对一个同阶单位矩阵E的初等行变换操作。也就是说，从第一步开始，都将对A的每一步初等行变换操作同时作用于E。
(以上原文来自于 https://baijiahao.baidu.com/s?id=1717554671908639919)

协方差衡量两个随机变量在一个总体中共同变化的程度。当总体包含更高维度或更多随机变量时，用矩阵来描述不同维度之间的关系。协方差矩阵是一种更容易理解的方式，它将整个维度中的关系定义为每两个随机变量之间的关系。

2 乔里斯基分解 Cholesky decomposition method

乔里斯基分解是将一个正定矩阵分解为下三角矩阵与其转置的乘积。在实践中，人们用它来生成相关的随机变量，方法是将协方差矩阵分解成标准正态分布，然后将下三角相乘。此外，矩阵分解在很多方面都是有帮助的，因为使用隐藏因子来描述矩阵的特征，可以发现一些普遍的属性，而我们并不经常可以明确地进行矩阵计算。

乔莱斯基分解法(Cholesky decomposition method)亦称平方根法.解对称正定线性方程组的常用方法之一设线性方程组A二一b的系数矩阵A是n阶对称正定矩阵.乔莱斯基分解法是先求A的分解A=LLT，其中1为对角元均为正数的下三角矩阵，其元素乙，可由下面的公式递推计算:然后再依次解两个三角形方程组LTy=b和1.x =y，从而求得原方程组的解.

using System;

namespace Zhou.CSharp.Algorithm
{
    /// 

    /// 矩阵类
    /// 作者：周长发
    /// 改进：深度混淆
    /// https://blog.csdn.net/beijinghorn
    /// 
    public partial class Matrix
    {
        /// 

        /// 对称正定矩阵的乔里斯基分解与行列式的求值
        /// 
        /// 源矩阵
        /// 返回行列式的值
        /// 求解是否成功
        public static bool ComputeDetCholesky(Matrix src, ref double realDetValue)
        {
            int i, j, k, u, z;
            double d;

            // 不满足求解要求
            if (src[0] <= 0.0)
            {
                return false;
            }
            // 乔里斯基分解

            src[0] = Math.Sqrt(src[0]);
            d = src[0];

            for (i = 1; i <= src.Columns - 1; i++)
            {
                u = i * src.Columns;
                src[u] = src[u] / src[0];
            }

            for (j = 1; j <= src.Columns - 1; j++)
            {
                z = j * src.Columns + j;
                for (k = 0; k <= j - 1; k++)
                {
                    u = j * src.Columns + k;
                    src[z] = src[z] - src[u] * src[u];
                }

                if (src[z] <= 0.0)
                {
                    return false;
                }
                src[z] = Math.Sqrt(src[z]);
                d = d * src[z];

                for (i = j + 1; i <= src.Columns - 1; i++)
                {
                    u = i * src.Columns + j;
                    for (k = 0; k <= j - 1; k++)
                    {
                        src[u] = src[u] - src[i * src.Columns + k] * src[j * src.Columns + k];
                    }
                    src[u] = src[u] / src[z];
                }
            }

            // 行列式求值
            realDetValue = d * d;

            // 下三角矩阵
            for (i = 0; i <= src.Columns - 2; i++)
            {
                for (j = i + 1; j <= src.Columns - 1; j++)
                {
                    src[i * src.Columns + j] = 0.0;
                }
            }
            return true;
        }
    }
}

POWER BY 315SOFT.COM & TRUFFER.CN

3 矩阵分解的几种形式

3.1 对角化分解

定义：一个n*n矩阵A如果可以写为X-1AX=D,其中x是可逆矩阵，D为对角矩阵，那么我们说A可以对角化。
定理：如果一个矩阵可以对角化分解，那么A的n个特征向量就一定线性独立，反过来也成立。
性质：An=XDnX-1 这是一个非常重要的性质，它和随机过程，马尔科夫过程有紧密的联系。
我们熟知的PageRank算法中就应用了矩阵的对角化分解。

3.2 奇异值分解

大家知道奇异值分解师应用最广的一个数学模型，在特征提取，图片压缩，主成因分析等都用到了奇异值分解。
定义: 如果一个m*n矩阵A能够分解为A=UBVT的形式,其中U矩阵式m*m格式的标准化正交矩阵，V是n*n的标准化的正交矩阵，B是m*n的对角矩阵。
奇异值一个重要的应用就是矩阵的近似表达。上面定义中的矩阵B的对角值就是我们说的奇异值a1>=a2>=a3>=...>=an,如果A的rank为r,那么a1>=a2>=a3>=...>=ar>0,  ar+1=ar+2=...=an=0;
将上面n-r部分的奇异值去掉，A=U1B1V1T那么矩阵A就能够得到简化.如果将上面的ar设置为0得到矩阵A',那么||A'-A||F=ar这个值比较小，所以可以用A'近似表达A，这就是图片压缩的原理。

3.3 乔里斯基(Cholesky)分解

介绍乔里斯基分解之前先介绍正定矩阵，正定矩阵在二次优化中有重要作用，通过正定矩阵我们可以求二次多项式的最大，最小或者鞍点。
定义：如果对于所有的x，xTAx>0那么A是正定矩阵，对应的二次多项式有最小值；
如果对于所有的x, xTAx>=0那么A是半正定矩阵，对应二次多项式有最小值；
如果对于所有的x，xTAx<0那么A是负定矩阵，对应二次多项式有最大值；
如果对于所有的x，xTAx<=0那么A是半负定矩阵，对应二次多项式有最大值；
如果xTAx的符号不确定，那么不能判断二次多项式的极值情况。

Cholesky分解，如果A是一个对角的正定矩阵，那么A=LDLT,其中L是一个下三角矩阵,对角线的值都为1。