相似度计算方法(一) 皮尔森相关系数

皮尔森(pearson)相关系数

 

1. 相关系数:

考察两个事物(在数据里我们称之为变量)之间的相关程度。如果有两个变量:X、Y,最终计算出的相关系数的含义可以有如下理解:

(1)、当相关系数为0时,X和Y两变量无关系。

(2)、当X的值增大(减小),Y值增大(减小),两个变量为正相关,相关系数在0.00与1.00之间。

(3)、当X的值增大(减小),Y值减小(增大),两个变量为负相关,相关系数在-1.00与0.00之间。

相关系数的绝对值越大,相关性越强,相关系数越接近于1或-1,相关度越强,相关系数越接近于0,相关度越弱。

 

通常情况下通过以下取值范围判断变量的相关强度:

相关系数     0.8-1.0     极强相关

                 0.6-0.8     强相关

                 0.4-0.6     中等程度相关

                 0.2-0.4     弱相关

                 0.0-0.2     极弱相关或无相关

 

 2. 皮尔森(pearson)相关系数

 

    首先放上公式:

相似度计算方法(一) 皮尔森相关系数_第1张图片

公式定义为: 两个连续变量(X,Y)的pearson相关性系数(Px,y)等于它们之间的协方差cov(X,Y)除以它们各自标准差的乘积(σX,σY)。系数的取值总是在-1.0到1.0之间,接近0的变量被成为无相关性,接近1或者-1被称为具有强相关性。

 

3. 根据以上公式,python3实现代码:

def pearson(vector1, vector2):

    n = len(vector1)

    #simple sums

    sum1 = sum(float(vector1[i]) for i in range(n))

    sum2 = sum(float(vector2[i]) for i in range(n))

    #sum up the squares

    sum1_pow = sum([pow(v, 2.0) for v in vector1])

    sum2_pow = sum([pow(v, 2.0) for v in vector2])

    #sum up the products

    p_sum = sum([vector1[i]*vector2[i] for i in range(n)])

    #分子num,分母den

    num = p_sum - (sum1*sum2/n)

    den = math.sqrt((sum1_pow-pow(sum1, 2)/n)*(sum2_pow-pow(sum2, 2)/n))

    if den == 0:

        return 0.0

    return num/den

 

现在,用两个向量测试一下:

vector1 = [2,7,18,88,157,90,177,570]

vector2 = [3,5,15,90,180, 88,160,580]

运行结果为0.998,可见这两组数是高度正相关的。

你可能感兴趣的:(相似度计算方法(一) 皮尔森相关系数)