常用相似性、相关性度量指标

原文：http://blog.csdn.net/OrthocenterChocolate/article/details/38596633

  本文将介绍一些数据挖掘、机器学习、信息检索等领域中常用的一些相似性、相关性度量指标：

（1）Euclidean Distance（欧几里德距离、欧氏距离）

         设有两个向量

，

         它们之间的Euclidean Distance为：

         

，值越小越相似。

（2）Manhattan Distance（曼哈顿距离）

         设有两个向量

，

         它们之间的Manhattan Distance为：

              

，值越小越相似。

（3）Minkowsk Distance（闵可夫斯基距离）

         设有两个向量

，

         它们之间的Minkowsk Distance为：

         

，值越小越相似。

（4）Hamming Distance（海明距离）

          Hamming Distance可以用来度量两个串（通常是二进制串）的距离，其定义为这两个二进制串对应的位有几个不一样，那么海明距离就是几，值越小越相似。例如x=1010，y=1011，那么x和y的海明距离就是1。又如x=1000，y=1111，那么x和y的海明距离就是3。

（5）Jaccard Coefficient（Jaccard 系数）

         Jaccard Coefficient用来度量两个集合的相似度，设有两个集合

和

，它们之间的Jaccard Coefficient定义为：

         

，值越大越相似。

          例如

，

，则

。

（6）Pearson Correlation Coefficient（皮尔森相关系数）

         设有两个向量

，

         它们之间的Pearson Correlation Coefficient为：

         

，值越大越相关。

（7）Cosine Similarity（余弦相似度）

         设有两个向量

，

         它们之间的Cosine Similarity为：

               

，值越大越相似。

（8）Mahalanobis Distance（马氏距离）

         设有两个向量

，

         它们之间的Mahalanobis Distance为：

         

，值越小越相似。

          其中

为x和y的协方差矩阵。

（9）Kullback-Leibler Divergence（KL散度）

           KL散度用来度量两个分布之间的距离，分布P和分布Q的KL散度定义为：

          

，值越小，两个分布就越相似。

（10）PMI (Pointwise Mutual Information，点对互信息)

          PMI利用co-occurance来衡量两个东西x和y的相似度，定义为：

          

，值越大越相关。

          其中

为x,y一起出现的概率，

为x出现的概率，

为y出现的概率。

（11）NGD（Normalized Google Distance）

           NGD可以用来度量两个东西x和y之间的相关性，作用和PMI有点类似，定义为：

          

，值越大越相关。
                 其中

是x在文档集中出现的频率，

是y在文档集中出现的频率，

是x,y在文档集中一起出现的频率，

是文档集的大小。