机器学习中那些相似度的计算方法及实现

在推荐系统中,我们需要计算两个物品的相似度,对于物品的描述,一般都可以量化为一个向量,于是两个物品之间的相似度就可以用两个向量的相关性来描述,这是概率论的范畴了。


假如我们希望相似度的值在0~1之间,并且越相似,值越大,有哪些办法?

1、计算欧式距离,然后根据“相似度=1/(1+距离)”计算相似度。

2、皮尔逊相关系数,在numpy中可以用线性代数模块linalg中的corrcoef()来计算相关系数(correlation coefficient)。得出结果的取值范围是-1~1,可通过“0.5+0.5*corrcoef()”将其缩放到0~1之间。

3、余弦相似度,计算的是两个向量的夹角的余弦值。余弦值=A*B/(||A||*||B||)。||A||表示A的2范数,可以用linalg模块中的norm()计算。余弦值在-1~1之间,同样需要缩放。


代码:

[python]  view plain  copy
  1. """ 
  2. Created on Sun Dec 28 10:33:42 2014 
  3.  
  4. @author: wepon 
  5.  
  6. """  
  7.   
  8. #相似度计算,inA、inB都是行向量  
  9. import numpy as np  
  10. from numpy import linalg as la  
  11.   
  12. #欧式距离  
  13. def euclidSimilar(inA,inB):  
  14.     return 1.0/(1.0+la.norm(inA-inB))  
  15. #皮尔逊相关系数  
  16. def pearsonSimilar(inA,inB):  
  17.     if len(inA)<3:  
  18.         return 1.0  
  19.     return 0.5+0.5*np.corrcoef(inA,inB,rowvar=0)[0][1]  
  20. #余弦相似度  
  21. def cosSimilar(inA,inB):  
  22.     inA=np.mat(inA)  
  23.     inB=np.mat(inB)  
  24.     num=float(inA*inB.T)  
  25.     denom=la.norm(inA)*la.norm(inB)  
  26.     return 0.5+0.5*(num/denom)  

测试:

[python]  view plain  copy
  1. >>> inA=array([1,2,3])  
  2. >>> inB=array([2,4,6])  
  3. >>> euclidSimilar(inA,inB)  
  4. 0.21089672205953397  
  5. >>> pearsonSimilar(inA,inB)  
  6. 1.0  
  7. >>> cosSimilar(inA,inB)  
  8. 1.0  


感觉这几种度量方法都比较粗糙,最终选择哪种相似度度量方式还是得看具体问题吧。

你可能感兴趣的:(Python,Machine,Learning)