为什么协方差矩阵、相关系数矩阵半正定?

帮助到你了就点个赞吧!

Powered By Longer-站在巨人的肩膀上


预备知识:

有随机变量X_{1},X_{2},则均值\mu=(X1+X2)/2,协方差cov(X_{1},X_{2})=(X_{1}-\mu_{1})(X_{2}-\mu_{2}),令X=[X_{1},X_{2}],设X_{1},X_{2}相关性为\rho,则有 

协方差矩阵:

\begin{align*} D&=[[cov(X_{1},X_{1}),cov(X_{1},X_{2})],[cov(X_{2},X_{1}),cov(X_{2},X_{2})]] \\ &= E[(X-\mu)^T(X-\mu)] \end{align*}

相关系数矩阵P=[[1,\rho],[\rho,1]],其中\rho=\frac{(X_{1}-\mu_{1})(X_{2}-\mu_{2})}{\sqrt{d_{1}}*\sqrt{d_{2}}},其中d是随机变量的方差。

注意:先看懂上面的预备知识,再看下面的半正定推理:

正定、半正定的定义方式有很多,这里给出一种常见的证明方式:

对于一个给定的非零向量a,判断矩阵A是否正定:判断a^TAa>0是否成立。半正定:判断a^TAa\geqslant 0是否成立,区别在于一个是>号,一个是>=号。

物理意义:使用矩阵A对向量a进行空间变换后的向量a’(a'=Aa)与原始向量a的夹角的余弦值(cos(\theta)=\frac{a*a'}{\left | a \right |*\left | a' \right |}),是否大于0(正定),或大于等于0(半正定)。

因此,证明协方差矩阵D半正定,只要证明x^TDx\geqslant 0

推理:

\begin{align*} x^TDx&=x^TE[(X-\mu)^T(X-\mu)]x\\ &=E[x^T(X-\mu)^T(X-\mu)x]\\ &=E{[((X-\mu)x)^T((X-\mu)x)]}\\ &=E[\left \| (X-\mu)x \right \|^2]\\ &=\left \| (X-\mu)x \right \|^2\\ &\geqslant 0 \end{align*}

与之类似的是相关系数矩阵P半正定推理,但需要加一点小技巧:

X=[X_{1},X_{2},...,X_{n}],令X^'=[\frac{X_{1}-\mu_{1}}{\sqrt{d_{1}}},\frac{X_{2}-\mu_{2}}{\sqrt{d_{2}}},...,\frac{X_{n}-\mu_{n}}{\sqrt{d_{n}}}]\mu=[\mu_{1},\mu_{2},...,\mu_{n}]D=[d_{1},d_{2},...,d_{n}],则相关系数矩阵P=X_{b}^TX_{b},则有:

\begin{align*} a^TPa&=a^TE[(\frac{X-\mu}{D})^T(\frac{X-\mu}{D})]a\\ &=E[a^T(\frac{X-\mu}{D})^T(\frac{X-\mu}{D})a]\\ &=E[((\frac{X-\mu}{D})a)^T((\frac{X-\mu}{D})a)]\\ &=E(\left\|(\frac{X-\mu}{D})a\right\|^2)\\ &=\left\|(\frac{X-\mu}{D})a\right\|^2\\ &\geqslant 0 \end{align*}

因此相关系数矩阵半正定。


帮助到你了就点个赞吧!

Powered By Longer-站在巨人的肩膀上

你可能感兴趣的:(线代,线性代数)