机器学习中各种距离计算

机器学习中，经常需要计算各种距离。
比如KNN近邻的距离，Kmeans距离，相似度中的距离计算。
这种距离不一定都是欧氏距离，针对不同需求，数据的不同特点，距离的计算方式不同。
下面给出机器学习中常用的距离计算方式，及其应用特点。

对于距离，有如下基本特性：
1、d(x, x)=0 //到自己的距离为0
2、d(x ,y)>=0 //距离非负
3、d(x, y)=d(y, x) //距离对称性，A到B的距离，B到A的距离是相等的
4、d(x, z)+d(z, y)>=d(x, y) //三角形法则，两边之和大于第三边

1、闵可夫斯基距离（Minkowski distance）
衡量数值点之间距离的常用方法。公式如下。

该距离最常见形式是P=2或者1，分别对应欧氏距离、曼哈顿距离。
见下图，网格表示城市街区交通道路，直线表示欧式距离，显示情况在存在高楼，不能直接穿过，折线表示曼哈顿距离，其长度是相等的。

但公司中的P趋于无穷大时，闵可夫斯基距离就转化为切比雪夫距离（Chebyshev distance）.

我们知道，平面上的距离原点欧氏距离（P=2）为1的点组成的形状为圆，但P取其他值时？见下图。

可知，切比雪夫距离近似一个正方形。
注意：当P<1时，闵可夫斯基距离不符合三角形法则。比如：P<1时，（0,0）（1,1）两点的距离为（1,1）^1/p>2，而（0,1）到这两点的距离都为1.
特点：闵可夫斯基距离比较直观，与数据分布无关，具有一定局限性。比如X方向的幅值远远大于Y方向的值，则闵可夫斯基距离会过度放大X维度的作用。可以在计算距离时，利用Z-transform处理，减去均值，除以方差。

可知，此时处理体现数据的统计特性了，但其假设是，数据之间不是相关的。比如，人的身高跟体重是有相关性的，这样的数据，就需要用马氏距离了。
2、马氏距离（mahalanobis distance）
先看例子，图中黑绿球的欧氏距离>黑红球；相反，黑绿球的马氏距离<黑红球。
这是因为马氏距离考虑了数据之间的相关性，利用cholesky transformation消除了不同维度之间的相关性和尺寸不同。

具体换换公式参考文章1.
举个例子，如图，下面的样本点。

xy方向尺度不同，不能简单求欧氏距离。
由于xy实现相关的，大致斜向上，不能标准化处理：减去均值，除以方差。
最恰当的方法是，进行cholesky变换，求马氏距离。变换后马氏距离空间如下：

可知，后边的红星离原点更近。与开始直观感觉有偏差。
3、向量内积
常见、有效、直观的相似性测量手段。
向量内积没有剔除向量长度影响，如果计算单位长度向量的内积，就是余弦相似度（Consine similarity），公式如下：

余弦相似度只与向量方向相关，与幅度无关。在TF-IDF及图片相似度计算过程中，经常看到。
不足的是，余弦相似度受向量平移影响，如果x变为x+1，则余弦相似度值会发生变化。
解决此方法就是——皮尔逊相似度（Person correlation），既避免幅度影响，又避免向量平移影响。

皮尔逊相关系数具有平移不变性和尺寸不变性。
4、分类数据间的距离
汉明距离：两个等长字符串，其中一个变为另一个需要的最小变换次数。
5、概率分布之间的距离
前面讨论的是数值点的距离，实际上概率分布之间的距离也是可以计算的。
常见方法有卡方验证（chi-square）和KL散度（KL-divergence）

小结：
Jaccard计算集合之间的相似度/距离
KL衡量两个分布之间的相似度/距离
Consine计算向量之间的相似度/距离

参考文章
1、http://blog.jobbole.com/84876/