协方差矩阵

方差: s 2 = ∑ i = 1 n ( x i − x ˉ ) 2 n − 1 s^2=\frac{\sum_{i=1}^n (x_i-\bar{x})^2}{n-1} s2=n1i=1n(xixˉ)2
协方差: c o v x y = ∑ i = 1 n ( x i − μ x ) ( y i − μ y ) n − 1 cov_{xy}=\frac{\sum_{i=1}^n(x_i-\mu_x)(y_i-\mu_y)}{n-1} covxy=n1i=1n(xiμx)(yiμy)

针对一维(个)随机变量,协方差就是方差;
针对二维(二个)随机变量反映的就是两纬度之间的相关性(正相关性、负相关性或无关);
针对三维样本集合时,求出的时各个纬度总体的相关性,针对各个纬度之间,用协方差矩阵表示;

下面的矩阵表示学生成绩,有三个纬度:数学、英语、艺术。
协方差矩阵中 ( i , j ) (i,j) (i,j)表示,第 i i i个纬度和第 j j j个纬度的协方差。可以用 X T X X^TX XTX表示。
协方差矩阵_第1张图片
有一点要注意,上面的例子中 X = [ x 1 T ⋮ x n T ] X=\begin{bmatrix} x_1^T \\ \vdots \\ x_n^T \end{bmatrix} X=x1TxnT,协方差矩阵是 X T X X^TX XTX
如果 X = [ x 1 … x n ] X=\begin{bmatrix}x_1 \dots x_n\end{bmatrix} X=[x1xn],协方差矩阵就是 X X T XX^T XXT.

参考:https://www.bilibili.com/video/BV1Vt4y1U73D?from=search&seid=11235088985399038217

你可能感兴趣的:(机器学习小知识点,方差,协方差,协方差矩阵)