正定矩阵与半正定矩阵
目录
1.基本定义
2.正定矩阵和半正定矩阵的直观理解
3.协方差矩阵是半正定矩阵
3.1分量形式证明：
3.2整体形式证明：
4.写在最后
1.基本定义
正定和半正定这两个词的英文分别为positive definite和positive semi-definite。
在考虑矩阵由实数构成的前提下，正定矩阵和半正定矩阵的定义如下：
【定义1】给定一个大小为n×n的实对称矩阵A，若对于任意长度为n的非零行向量x，有
恒成立，则矩阵A是一个正定矩阵。
证明正定矩阵过程利用矩阵乘法再结合定义即可得证。
【定义2】给定一个大小为n×n的实对称矩阵A，若对于任意长度为n的非零行向量x，有
恒成立，则矩阵A是一个正定矩阵。
2.正定矩阵和半正定矩阵的直观理解
先给出几何理解的结论：若给定任意一个正定矩阵
和一个非零向量
，则两者相乘得到的向量
与向量x的夹角恒小于
。（等价于）
可从向量的内积公式中理解：对于
，可将y视为Ax，那么可将正定矩阵的定义与内积联系，其中x、y的二范数恒大于0。
同样地，若给定任意一个正定矩阵和一个非零向量，则两者相乘得到的向量与向量x的夹角恒小于或等于。（等价于）
3.协方差矩阵是半正定矩阵
3.1分量形式证明：
对于n个随机变量
和数学期望
，其协方差矩阵为：
证明
半正定，即证对于任意向量
，有：
。
对于
：
将得到一个1×n的矩阵，其中第k个元素为：（利用了数学期望的线性性质）
那么，
那么，
![=E\left[\left(\sum_{i=1}^ny_i\left(X_i-\mu_i\right)\right)\left(\sum_{k=1}^n\left(X_k-\mu_k\right)y_k\right)\right]](http://img.e-com-net.com/image/info8/67d6cedb1dcf4057a6e959b7855274ec.png){kind=small}
令随机变量
则：
3.2整体形式证明：
对于n个随机变量和数学期望，协方差![\Sigma=E{\left[\left(X-\mu\right){\left(X-\mu\right)}^T\right]}](http://img.e-com-net.com/image/info8/cf28397044fb48e9805973e4b1d2a1b2.png){kind=small}
，对任意向量y有：
4.写在最后
本文仅个人学习使用，不用于任何商业用途，欢迎有兴趣的同学多多交流。后续如果学习过程中遇到新的问题，将在此补充！
本文在写作过程中，在融合了自己的思考理解的同时，参考了以下同学的资料，非常感谢！
浅谈「正定矩阵」和「半正定矩阵」 - 知乎 (zhihu.com)
证明：协方差矩阵是半正定矩阵_证明协方差矩阵半正定-CSDN博客