正定矩阵与半正定矩阵

目录

1.基本定义

2.正定矩阵和半正定矩阵的直观理解

3.协方差矩阵是半正定矩阵

3.1分量形式证明：

3.2整体形式证明：

4.写在最后

---

1.基本定义

正定和半正定这两个词的英文分别为positive definite和positive semi-definite。

在考虑矩阵由实数构成的前提下，正定矩阵和半正定矩阵的定义如下：

【定义1】给定一个大小为n×n的实对称矩阵A，若对于任意长度为n的非零行向量x，有恒成立，则矩阵A是一个正定矩阵。

证明正定矩阵过程利用矩阵乘法再结合定义即可得证。

【定义2】给定一个大小为n×n的实对称矩阵A，若对于任意长度为n的非零行向量x，有恒成立，则矩阵A是一个正定矩阵。

---

2.正定矩阵和半正定矩阵的直观理解

先给出几何理解的结论：若给定任意一个正定矩阵和一个非零向量，则两者相乘得到的向量与向量x的夹角恒小于。（等价于）

可从向量的内积公式中理解：对于，可将y视为Ax，那么可将正定矩阵的定义与内积联系，其中x、y的二范数恒大于0。

同样地，若给定任意一个正定矩阵和一个非零向量，则两者相乘得到的向量与向量x的夹角恒小于或等于。（等价于）

---

3.协方差矩阵是半正定矩阵

3.1分量形式证明：

对于n个随机变量和数学期望，其协方差矩阵为：

证明半正定，即证对于任意向量，有：。

对于：

将得到一个1×n的矩阵，其中第k个元素为：（利用了数学期望的线性性质）

那么，

那么，

令随机变量

则：

3.2整体形式证明：

对于n个随机变量和数学期望，协方差，对任意向量y有：

4.写在最后

本文仅个人学习使用，不用于任何商业用途，欢迎有兴趣的同学多多交流。后续如果学习过程中遇到新的问题，将在此补充！

本文在写作过程中，在融合了自己的思考理解的同时，参考了以下同学的资料，非常感谢！

浅谈「正定矩阵」和「半正定矩阵」 - 知乎 (zhihu.com)

证明：协方差矩阵是半正定矩阵_证明协方差矩阵半正定-CSDN博客