欧式距离、标准化欧式距离、马氏距离、余弦距离

目录

• 欧氏距离
• 标准化欧氏距离
• 马氏距离
• 夹角余弦距离
• 汉明距离
• 曼哈顿(Manhattan)距离

1.欧式距离

欧式距离源自N维欧氏空间中两点$x_1,x_2$间的距离公式：
$$d=\sqrt{\sum _{i=1}^N(x_{1i}-x_{2i}{)}^2}$$

2.标准化欧式距离

引入标准化欧式距离的原因是一个数据$x_i$的各个维度之间的尺度不一样。
【对于尺度无关的解释】如果向量中第一维元素的数量级是100，第二维的数量级是10，比如v1=(100,10,30),v2 = (500,40)，则计算欧式距离
$$d=\sqrt{100\cdot (50-10{)}^2+(40-10{)}^2}$$
可见欧式距离会给与第一维度100权重，这会压制第二维度的影响力。对所有维度分别进行处理，使得各个维度分别满足标准正态分布。
还有一种对欧式距离的处理是均值化但没有归一化（Normalized），即
$$d=\sqrt{\sum _{i=1}^N\frac{(x_i-y_i{)}^2}{s_i^2}}$$
其中$s_i^2$是第i维度的方差（此处虽然举例只有X,Y两个点，但整个数据集中会有无数个点，根据数据集得到方差分布）
网络上的Normalized Euclidean distance和Standard Euclidean distance的定义对应这两种处理。

3.马氏距离、标准化欧式距离（Standard Euclidean distance）

标准化欧式距离即是将集合$X=\{x_i\}$先进行归一化，映射到正太分布N(0,1)的区间：
$x_{i}post=(x_i-u)/s$
其中u为均值，$s^2$为方差。
其实，这就是马氏距离要做的事。马氏距离的结果也是将数据投影到N(0,1)区间并求其欧式距离。

马氏距离又称为数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与标准化欧氏距离不同的是它考虑到各种特性之间的联系。

假设$u_x$为向量$X=\{x_1,x_2,...,x_N\}$的均值，$u_y$为$Y=\{y_1,y_2,...y_N\}$的均值，$\Sigma$ 是X与Y的协方差
点X与Y的马氏距离：
$$\sqrt{(x-u_x{)}^T{\Sigma }^{-1}(y-u_y)}$$
这个式子可以用矩阵的迹来重写：
$$\sqrt{(x-u_x{)}^T{\Sigma }^{-1}(y-u_y)}=\sqrt{tr({\Sigma }^{-1}(y-u_y)(x-u_x{)}^T}$$
其中$\Sigma$是X与Y的协方差矩阵
可见：
如果$\Sigma$是单位矩阵，则马氏距离退化成欧式距离；
如果$\Sigma$是对角矩阵，则称为归一化后的欧式距离。
所以马氏距离的特点：

• 尺度无关
• 考虑进数据之间的联系

马氏距离可以通过协方差自动生成相应的权重，而使用逆则抵消掉这些权重。

最典型的就是根据距离作判别问题，即假设有n个总体，计算某个样品X归属于哪一类的问题。此时虽然样品X离某个总体的欧氏距离最近，但是未必归属它，比如该总体的方差很小，说明需要非常近才能归为该类。对于这种情况，马氏距离比欧氏距离更适合作判别。

4.余弦距离（余弦相似性）

严格来讲余弦距离不是距离，而只是相似性。其他距离直接测量两个高维空间上的点的距离，如果距离为0则两个点“相同”；余弦的结果为在$[0，1]$之中，如果为 1，只能确定两者完全相关、完全相似。

假设两用户同时对两件商品评分，向量分别为(3,3)和(5,5)，这两位用户对两件商品的喜好其实是一样的，余弦距离此时为1，欧式距离给出的解显然没有余弦值直观。

相对于标准化后的欧式距离，余弦距离少了将数据投影到一个均值为0的区间里这一步骤。对于点X和点Y，其余弦距离：
$$d=\frac{{\sum }_{i=1}^N{x}_i{y}_i}{\sqrt{{\sum }_i^N{x}_i^2}\sqrt{{\sum }_i^N{y}_i^2}}$$
余弦距离在给文本分类的词袋模型中使用，例如给一篇文章一共出现过6000个词，则用一个6000维度的向量X表示这篇文章，每个维度代表各个字出现的数目；另外一篇文章也恰好只出现过这6000字，用向量Y表示该文章，则这两篇文章相似度可以用余弦距离来测量。

优点：余弦距离根据向量方向来判断向量相似度，与向量各个维度的相对大小有关，不受各个维度直接数值影响。
某种程度上，归一化后的欧氏距离和余弦相似性表征能力相同。

5.汉明距离

汉明距离是两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。比如：
1011101 与 1001001 为 2
2143896 与 2233796 是 3
可以把它看做将一个字符串变换成另外一个字符串所需要替换的字符个数。
此外，汉明重量是字符串相对于同样长度的零字符串的汉明距离，如：
11101 的汉明重量是 4。
所以两者间的汉明距离等于它们汉明重量的差a-b

6.曼哈顿距离 (Manhattan distance）

曼哈顿距离的定义如下：
$$\sum _p||I_1^p-I_2^p||$$
p是I的维度。当I为图像坐标时，曼哈顿距离即是x,y坐标距离之和。

【补充】协方差矩阵的逆${\Sigma }^{-1}$的求法：

先将$\Sigma$进行SVD分解(由于协方差矩阵是对称矩阵，因此此处严格说来是特征值分解EVD)。

由于协方差矩阵是对称的，
$$U\Lambda V^T=\Sigma ={\Sigma }^T=(U\Lambda V^T{）}^T=V\Lambda U^T$$
即$V=U_{n\times n}=[u_1,u_2,...,u_n]$。
因此SVD分解结果：
$$\Sigma =U\Lambda U^T=\sum _{i=1}^n{\lambda }_i{u}_i{u}_i^T$$
则：
$${\Sigma }^{-1}=(U^T{)}^{-1}{\Lambda }^{-1}{U}^{-1}=U{\Lambda }^{-1}{U}^T=\sum _{i=1}^n{\lambda }_i^{-1}{u}_i{u}_i^T$$
因此马氏距离：
$$d=(x_i-u_x){\Sigma }^{-1}(y_i-u_y{)}^T$$

$$=(x_i-u_x)(\sum _{i=1}^n{\lambda }_i^{-1}{u}_i{u}_i^T)(y_i-u_y{)}^T$$

$$=\sum _{i=1}^N{\lambda }_i(x_i-u_x)u_i{u}_i^T(y_i-u_y{)}^T$$

$$=\sum _{i=1}^N{p}_i{q}_i$$
上式中，由于U是正交矩阵，可以将其视作旋转矩阵，对向量X,Y进行旋转；再对其除以特征值，可以视作尺度处理。这两者的结果就是将数据处理旋转并缩放到一个标准化的空间里去。

Reference:

[1]马氏距离及其几何解释
http://www.weixinnu.com/tag/article/1082683923
[2]欧氏距离和余弦相似度的区别是什么？
https://www.zhihu.com/question/19640394