算法思想-PageRank

最近重新拿起《集体智慧编程》这本书来看，书是好书，很多人推荐计算机的学习学这本书入门机器学习的算法，但是有个问题——这本书太老了。很多代码已经跑不了了，书上爬虫要抓的网站也404了。不过算法的思想却是永远不过时的，今天看到的是第四章：搜索与排名中的PageRank算法。

一、算法思想

PageRank算法
这个算法简单来讲，就是衡量一个网页的“重要程度”。一个网页计算出来的PR值越高，网页重要程度越高。排名也就靠前。

这个算法基于两个基本原则
1.如果一个网页被很多其他网页链接，说明这个网页很重要。（PageRank值会高）
2.如果一个高PR值的网页链接到另一个网页，那被链接的那个网页PR值也高。（高质量，相同圈子）

二、公式

PR（A） = （1-d）+d[ PR(T1)/C(T1) + ... + PR(Tn)/C(Tn) ]

公式解析^[1]：

d是阻尼因子
PR(Tn) 是 Tn这个网页的PR值
C(Tn) 是这个网页的外部链接数

假设求A的PR值
我们需要一个阻尼因子（一般d取0.85）
d 代表 用户浏览下一个网页的概率
用某网页的PR值（思想2）处以该网页的链接数，将这些网页加起来，乘以阻尼因子，再加上1-阻尼因子，得到A的PR值。

转移矩阵（没解释好0的部分，待修正）^[2]

不过这个只是计算单个网页的PR值，我们现在要计算的是全部的，那要如何计算呢？
首先我们不考虑阻尼因子，来看看一个网页和其他网页的关系。

这个是一个网页的PR值，那全部的呢？我们把全部网页的PR值用向量表示

即

用符号表示为
U=M*U

三、初始化

看到公式后你可能也想到了一个问题，如果我要计算A的PR值，那我得有其他链接到网页A的网页的PR值。（得有其他才能算要算的那个）
那这样的话，其他网页的PR值又是怎么来的呢？总得先有源头吧。。
为了解决这个问题，我们会采用初始化+迭代的方式。
1.将所有网页都初始化，给定一个初始值。
2.不停迭代计算

所以为了计算网页的PR值，我们不是计算一次就可以。

四、停止条件

既然有迭代，那就涉及到一个停止的问题：何时停止呢？
这里有两种方式：
1.指定迭代的次数
2.当误差小于指定误差时，停止。

第一种方式就很简单了，直接写个循环（for)，指定循环次数。
第二种就需要我们给出误差范围，也用循环做（while）

五、PageRank算法的问题

终止点问题和陷阱问题

六、简单的代码实现

# 参考博客源代码

import numpy as np


M = [[0, 1 / 2, 0, 1 / 2],
     [1 / 3, 0, 0, 1 / 2],
     [1 / 3, 1 / 2, 1, 0],
     [1 / 3, 0, 0, 0]]
U = [1 / 4, 1 / 4, 1 / 4, 1 / 4]
U0 = np.array(U)


U_past_none_alpha = []
while True:
    U = np.dot(M, U)
    # print('Un: ', U)
    if str(U) == str(U_past_none_alpha):
        break
    U_past_none_alpha = U
print('Un converge1 to: ', U)


U_past_has_alpha = []
while True:
    U = 0.8 * (np.dot(M, U)) + 0.2 * U0
    # print('Un: ', U)
    if str(U) == str(U_past_has_alpha):
        break
    U_past_has_alpha = U
print('Un converge2 to: ', U)

代码解析：

---

参考：
https://blog.csdn.net/andy_shenzl/article/details/83145471

---

理解公式-题目

---

1. Q1：计算网页A的PR值

   
   
   
   

   如图：网页A的PR值未知，
   已知B的PR值为0.5、C的PR值为0.7、D的PR值为0.2。
   B总共有4条链接，其中一条指向A，
   C总共有4条链接，其中一条指向A，
   D总共有1条链接，指向A。
   假设阻尼因素d=0.85
   所以根据公式
   PR(A) = (1-0.85) + 0.85[ (0.5 / 4) + (0.7 / 4) + (0.2 / 1) ]
   = 0.54525

   ↩

2. Q2：转移矩阵M
   网页间的链接如下图：

   
   
   
   

   求转移矩阵M
   先放答案

   
   
   
   怎么理解？
   从A出发，有3条链接，指向B,C,D
   从B出发，有2条链接，指向A,C
   

   从C出发，有1条链接，指向C
   从D出发，有2条链接，指向A,B
   理解这个矩阵要从列的角度
   第一列代表A到所有网页的概率。
   第一列，第一行代表A到A的概率，因为A不指向A，所以为0
   第一列，第二行代表A到B的概率，A确实指向了B，因为A总共有3条链接，所以是1/3
   第一列，第三行代表A到C的概率，A确实指向了C，因为A总共有3条链接，所以是1/3
   第一列，第四行代表A到D的概率，A确实指向了D，因为A总共有3条链接，所以是1/3
   第一列就这样分析完了，后面每列也是这样理解。所以你会发现，每列的和加起来是1。
   特别的C只指向自己的，所以第三列，第三行的位置是1。

   ↩