高斯分布和马氏距离

• 给定随机变量x_i(i=1,...,N)构成的矢量X，它的均值是\bar X=E(X)，而\Delta X=X-\bar X，其协方差矩阵\Sigma=E(\Delta X \Delta X^T)
  可知，矩阵\Sigma的对角元是单个变量x_i的方差，而非对角元是交叉协方差。

• 如果X的概率密度分布形如P(\bar X+\Delta X)=(2\pi)^{-N/2}det(\Sigma ^{-1})^{1/2}exp(-\Delta X^T \Sigma ^{-1}\Delta X/2)
  其中\Sigma ^{-1}是半正定矩阵，那么，变量x_i遵循一个联合高斯分布。均值和协方差是\bar X和 \Sigma。

• 特殊情况：\Sigma=\sigma^2I，为各向同性高斯分布
  P(X)=(\sqrt {2 \pi}\sigma)^{-N}exp(-\sum(x_i-\bar x_i)^2/2\sigma^2)

• 马氏距离
  ||X-Y||=((X-Y)^T\Sigma^{-1}(X-Y))^{1/2}
  可以看出，高斯概率密度函数是变量马氏距离的函数。

• 理解马氏距离

一个地区的人用两个数据表示(身高/cm，体重/g)。了解到这个地区的数据均值是(170，60000)。越接近这个体型的人数越多
一个人a数据是(180，600100)，另一个人b的数据是(175，63000)。如果采用欧式距离的话，a更接近。因此推出有a身材的人更多。
但实际上，我们看来应该是b更接近平均身材。所以，欧式距离有问题。
解决方法引入数据方差，计算(x-\bar x)/\sigma的欧式距离

image

到目前，大家可以理解协协方差矩阵是对角阵的马氏距离：距离均值越近，概率越大。而距离与方差有关。那么马氏距离中的协方差怎么回事？
协方差矩阵\Sigma一般是对称正定矩阵，可以写成\Sigma=U^TDU，D=(\sigma_1^2,...,\sigma_N^2)是对角矩阵，U是正交矩阵。记X'=UX和\bar {X'}=U\bar X，则
exp(-(X-\bar X)^T \Sigma^{-1}(X-\bar X)/2)=exp(-(X'-\bar X')^TU \Sigma^{-1}U^T(X'-\bar X')/2)=exp(-(X'-\bar X')^T D^{-1}(X'-\bar X')/2)
这样就可以理解了：马氏距离在另一个坐标系下是独立变量的距离。距离越远，概率越小。距离是\sum (\Delta x_i/\sigma_i)^2。
记住，左乘正交矩阵相当于坐标轴进行了刚体欧式运动。欧式运动后，如下图，

上面操作的效果如下：

20180711210250769.gif

这样，不同变量独立了。协方差矩阵是对角矩阵。也可以进一步缩放，变为各向同性的高斯分布。
总结一下：马氏距离在另一个坐标系下协方差矩阵是对角阵的马氏距离。

• 为什么非要协方差？我就要方差不行吗？
  考虑x_1=x_2，数据冗余的情况。如果只要方差那么x_1投了2次票。通过马氏距离，D有一个元素是0。相当于少了一票。卧槽，起到了PCA的作用。

• 卡方分布：\chi_n^2分布是n个独立高斯随机变量的平方和的分布。当应用于有非奇异协方差矩阵\Sigma的高斯随机变量v时，(v-\bar v)^T\Sigma^{-1}(v-\bar v)的值满足\chi_n^2分布。

• 如果协方差矩阵是\Sigma的高斯随机变量v，那么，(v-\bar v)^T\Sigma^{+}(v-\bar v)的值满足\chi_r^2分布，其中r=rank(\Sigma)。