【概率与统计】---均方误差，方差，协方差，协方差矩阵

一，均方误差

个人理解：平均的平方的误差值，即，误差的平方的期望值（误差就是每个估计值与真实值的差）；换句话说，也就是多个样本的时候，均方误差等于每个样本的误差平方再乘以该样本出现的概率的和。

 

二、方差

个人理解：误差的平方；方差是描述随机变量的离散程度，是变量离期望值的距离。

注意两者概念上稍有差别，当你的样本期望值就是真实值时，两者又完全相同。最小均方误差估计就是指估计参数时要使得估计出来的模型和真实值之间的误差平方期望值最小。

三、协方差

个人理解：协，协同的（两个变量）之间的误差

     

当，X与Y值相同时，其实就是方差； 若斜方差越大，两者的联系越大，若协方差越小，联系越小。

四、协方差矩阵

个人理解：矩阵的主对角线是方差，副对角线是协方差。若副对角线为0，就是协方差为0，为方差。

多元高斯分布：就是高斯分布的低维向高维的扩展，图像如下。

对应多元高斯分布的公式也请自行谷歌，以前高斯公式中的方差也变成了协方差，对应上面三张图的协方差矩阵分别如下：

             

注意协方差矩阵的主对角线就是方差，反对角线上的就是两个变量间的协方差。就上面的二元高斯分布而言，协方差越大，图像越扁，也就是说两个维度之间越有联系。