基于Python实现的PageRank算法

1.前言

PageRank,顾名思义就是页面的排序,其算法最早是由谷歌提出,他们将一些重要的网页进行排序,然后展示给用户,其相当于是一种早期的推荐算法了。

2.任务要求

基于核心思想,将任务简化为以下步骤:

  • 如果一个网页被很多网页链接,说明这个网页是关键性节点,那么pagerank值相对较高
  • 如果一个pagerank值很高的网页又链接到其他的网页,那么该网页的pagerank值也相对较高
  • 一个节点的重要性有pagerank(PR)值来衡量,其PR值就是一个网站被访问的概率,PR值越高,被访问的频率越高,其值也越大

3.基本原理

基本原理参考:https://zhuanlan.zhihu.com/p/86004363
基于Python实现的PageRank算法_第1张图片

假设有这么一个网络,通过网络可以写出转移矩阵,如下,其中第i行第j列的值表示,j转到i的概率

比如:第四行,第一列:表示A转到D的概率,因为A有两条链接,分母为2,分子为1

在访问之处,我们都是“无知的”,及我们访问每个网页都等可能,有如下的V矩阵

基于Python实现的PageRank算法_第2张图片

P R = V ′ = M ∗ V PR=V^{'}=M*V PR=V=MV

通常我们会在上述公式加一个阻尼系数 α = 0.85 \alpha=0.85 α=0.85来避免网页中出现的无链问题,无链就是上述图存在一个空链接(假设D≠>C),这是会出现迭代终点问题,全部为0.

V ′ = α M V + ( 1 − α ) V V^{'}= \alpha MV+(1-\alpha)V V=αMV+(1α)V

迭代终止条件:
∣ V i + 1 − V i ∣ > e |V_{i+1}-V_{i}|>e Vi+1Vi>e

4.代码实现

import numpy as np

M = np.array([[0,1,1,0],
             [1,0,0,0],
             [0,1,0,1],
             [1,0,0,0]],dtype = float)

# 1.定义转移矩阵
def move_matrix(m):
    num = m.sum(axis = 0) # 统计每一列的总数,也就是网页的链接数
    return m/num  # 返回建立的转移矩阵

# 2.定义V矩阵,初始的PR值
def V(c):
    pr = np.ones((c.shape[0],1),dtype=float)/len(c) # 初始化PR值矩阵
    return pr

# 3.迭代计算pagerank值
def PR(p,m,v):
    i = 0
    while 1:
        v1 = p*np.dot(m,v) + (1-p) * v
        if np.abs((v-v1).all()) < 0.001:
            break
        else:
            v = v1
        i += 1
        if i==20:break
    print('求pr值迭代%d次'%(i))
    return v

# 4.测试
M1 = move_matrix(M)
V1 = V(M1)
a = 0.85
print('最后迭代网页PR值结果为:\n',PR(a,M1,V1))

求pr值迭代20次
最后迭代网页PR值结果为:
 [[0.36364336]
 [0.18180061]
 [0.27275541]
 [0.18180061]]

5.结语

  • pagerank较大的缺点就是在时间问题,新事物的PR值肯定没有旧事物的PR值高,因为经过发展,旧网页的链接到其他网页的纪律更大,于是有专家学者提出了新的算法:TrustRank算法
  • 对于导航性的网页与一般网页的不平衡,总所周知,导航性的网页,拥有更高的PR值,因为其中覆盖的其他网页链接更多。

你可能感兴趣的:(大数据相关算法,推荐系统算法,机器学习,python,算法)