用NodeJS爬取知乎的关系链

一、介绍

NodeJS单线程、事件驱动的特性可以在单台机器上实现极大的吞吐量，非常适合写网络爬虫这种资源密集型的程序。

这段时间写了一个可以爬取知乎关系链的小爬虫，输入某个用户的用户主页URL，就可以爬取他的关系链：
https://github.com/starkwang/Zhihu-Spider

---

二、爬虫的实现

数据请求方面使用了request这个模块，用express响应请求，前端构图使用了Echarts，中间数据交互是用websocket做的。

主要用到了知乎的两个API：

//获取目标用户的关注者
POST https://www.zhihu.com/node/ProfileFollowersListV2

参数：
method:"next", //填入next即可
params:{
    offset:40, //20的倍数，从0开始每次拉取20个关注者
    order_by:"created", //填入"created"即可
    hash_id:"d965f32a168564f9e58ad3a48a1585a4" //目标用户在知乎唯一的hash_id
}, 
_xsrf:"289c6ef5534d3dbb6a54057826864799" //xsrf参数，cookie中给定的

//获取目标用户关注的人
POST https://www.zhihu.com/node/ProfileFolloweesListV2

参数：
method:"next", //填入next即可
params:{
    offset:40, //20的倍数，从0开始每次拉取20个关注的人
    order_by:"created", //填入"created"即可
    hash_id:"d965f32a168564f9e58ad3a48a1585a4" //目标用户在知乎唯一的hash_id
}, 
_xsrf:"289c6ef5534d3dbb6a54057826864799" //xsrf参数，cookie中给定的

爬虫的工作流程如下：

1. 获取目标用户的关注者、关注的人列表，找出和他相互关注的人（即朋友）

2. 对朋友列表里的朋友重复1中的步骤，找出朋友的朋友列表

3. 遍历2中的结果，找出朋友之间的相互关注关系

---

三、部分代码

首先我们写一个getUser方法，它的作用是请求一个用户主页URL，获取请求结果，解析出用户的昵称、hash_id、关注者数量、关注的人数量。

var request = require('request');
var Promise = require('bluebird');
var config = require('../config');

function getUser(userPageUrl) {
    return new Promise(function(resolve, reject) {
        request({
            method: 'GET',
            url: userPageUrl,
            headers: {
                'cookie': config.cookie
            }
        }, function(err, res, body) {
            if (err) {
                reject(err);
            } else {
                resolve(parse(body));
            }
        })
    });
}

function parse(html) {
    var user = {};

    var reg1 = /data-name=\"current_people\">\[.*\"(\S*)\"\]<\/script>/g;
    reg1.exec(html);
    user.hash_id = RegExp.$1;

    var reg2 = /关注了<\/span>
\n(\d*)/g;
    reg2.exec(html);
    user.followeeAmount = parseInt(RegExp.$1);

    var reg3 = /关注者<\/span>
\n(\d*)/g;
    reg3.exec(html);
    user.followerAmount = parseInt(RegExp.$1);

    var reg4 = /