yield python3 知乎_GitHub - yuwenhou/zhihuuser: 爬取知乎user信息

Scrapy爬取知乎用户信息

目标

从一个大V用户开始,通过递归爬取粉丝列表和关注列表,以实现知乎所有用户详细信息的抓取。

(可选)将抓取结果储存到数据库中,并进行去重操作。

环境需求

Python3.6

通过miniconda创建python版本号为3.6的虚拟环境

conda create -n spider python=3.6

conda activate spider

Scrapy

pip install scrapy

注意,在安装scrapy框架前,还需安装下列库至虚拟环境中:

安装lxml库(pip)

安装pyOpenSSL库(pip)

安装Twisted库(wheel+pip)

安装PyWin32库(wheel+pip)

创建项目

在命令行通过以下命令创建一个项目:

scrapy startproject zhihu_user

创建爬虫

通过命令行进入到项目中,运行genspider命令创建一个spider

cd zhihu_user

scrapy genspider zhihu www.zhihu.com

禁止ROBOTSTXT_OBEY

将settings.py中的ROBOTSTXT_OBEY设为False:

ROBOTSTXT_OBEY = False

其默认为True,表示遵守robots.txt规则。 robots.txt 是遵循 Robot 协议的一个文件,它保存在网站的服务器中,它的作用是,告诉搜索引擎爬虫,本网站哪些目录下的网页不希望你进行爬取收录。在Scrapy启动后,会在第一时间访问网站的 robots.txt 文件,然后决定该网站的爬取范围。

加入请求头

未加入请求头headers中的User-Agent。访问知乎域名下的网页必须指定User-Agent,否则会被服务器检测为爬虫而遭封杀

添加方案:

在settings.py文件中设置,取消DEFAULT_REQUEST_HEADERS的注释,加入如下内容(全局设置):

DEFAULT_REQUEST_HEADERS = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'

}

在创建spider中加入:

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36',

}

在Request的参数中加入。

本次爬取使用方案一。添加后在命令行中运行如下命令:

scrapy crawl zhihu

即可得到返回(200)的结果。未添加时,则会出现返回状态码出错的问题。

同时会出现重定向状态码(301)/(302),这是由于自动创建的爬虫的url开头为http而非https。

爬取流程分析

为探寻获取用户详细信息和关注列表的接口,回到网页并检查网页,打开控制台切换到Network模式。

选取一个知乎大V作为爬取开头,如:

通过观察个人信息页面,确定需要爬取的基本信息,如:姓名,签名,职业,关注数,赞同数等。

注:Ajax,即Asynchronous JavaScript and XML,指异步的JavaScript和XML,指利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。

点击页面内选项卡中的关注,再翻页,可在控制台中发现出现了相应的Ajax请求。这个就是获取关注列表的接口。其形式如:

followees?include=data...

观察其请求结构(headers),请求方法为GET,URL为https://www.zhihu.com/api/v4/members/excited-vczh/followees?... ,后跟了三个参数,分别为include,offset,limit。可以发现,offset为偏移量,limit表示每页数量,结合这两项即可表示当前的页数。include中则是查询参数。

接下来查看返回结果(Preview),包括有data和paging两个字段。data中包含了关注列表的用户信息,每页有20个内容。paging内容中的字段则可用于请求下一页,其中is_end表示当前翻页是否结束,next则是下一页的链接。

由上,我们即可通过接口获取到获取关注列表了。

若将鼠标放在关注列表中的任意一个头像上,则又会出现新的Ajax请求。可以通过Network控制台中看到该次请求的链接为:

后面同样跟了一个include参数,其包含了一些查询参数。在该请求的返回结果(Preview)中几乎可以获得所有详情。因此我们可以通过该接口获取关注列表中的用户的详细信息。

总结:

有了上两条爬取逻辑后,即可开始构造请求。

构造请求

1.生成第一步请求

第一步即为请求起始用户(excited-vczh)的基本信息,然后再获取其关注列表。首先在之前创建的spider中删除原本的start_urls,新构造一个格式化的url,将其中一些可变参数提取出来,然后重写start_requsets方法,以生成第一步的请求。

同时,还需要实现两个解析方法parse_user和parse_follow。修改后代码如下:

import scrapy

class ZhihuSpider(scrapy.Spider):

name = 'zhihu'

allowed_domains = ['www.zhihu.com']

# 查询用户信息的url地址

user_url = 'https://www.zhihu.com/api/v4/members/{user}?include={include}'

user_query = 'allow_message,is_followed,is_following,is_org,is_blocking,employments,answer_count,follower_count,articles_count,gender,badge[?(type=best_answerer)].topics'

# 查询关注列表的url地址

follows_url = 'https://www.zhihu.com/api/v4/members/{user}/followees?include={include}&offset={offset}&limit={limit}'

follows_query = 'data[*].answer_count,articles_count,gender,follower_count,is_followed,is_following,badge[?(type=best_answerer)].topics'

# 起始用户

start_user = 'excited-vczh'

def start_requests(self):

yield scrapy.Request(self.user_url.format(user=self.start_user, include=self.user_query), callback=self.parse_user)

yield scrapy.Request(self.follows_url.format(user=self.start_user, include=self.follows_query, limit=20, offset=0), callback=self.parse_follows)

def parse_user(self, response):

print(response.text)

def parse_follows(self, response):

print(response.text)

注:在url中&用于转义,表示&

修改完后即可通过在命令行运行下属命令运行,并观察结果:

scrapy crawl zhihu

成功爬取得到结果。

2.编写parse_user

接下来处理爬取得到的用户基本信息,通过查看接口信息所返回的数据,在items.py中新声明一个UserItem:

import scrapy

class UserItem(scrapy.Item):

id = scrapy.Field()

name = scrapy.fleid()

type = scrapy.Field()

gender = scrapy.Field()

answer_count = scrapy.Field()

articles_count = scrapy.Field()

follower_count = scrapy.Field()

is_vip = scrapy.Field()

headline = scrapy.Field()

url_token = scrapy.Field()

url = scrapy.Field()

...

以爬取需要的信息。接下来在spider.py的解析方法里接析我们得到的response,然后转为json对象,依次判断字段是否存在,若存在则赋值:

def parse_user(self, response):

result = json.loads(response.text)

item = UserItem()

for field in item.fields:

if field in result.keys():

item[field] = result.get(field)

yield item

得到item后通过yield即可饭回。这样保存用户基本信息的步骤就完成了。接下来还需要获取该用户的关注列表,因此需要再发起一个获取关注列表的request。在parse_user后面在添加:

yield scrapy.Request(

self.follows_url.format(user=result.get('url_token'),

include=self.follows_query, limit=20, offset=0),

self.parse_follows)

这样就又生成了获取该用户关注列表的请求。

3. 编写prase_follows

同样的步骤处理关注列表。先解析response的文本,然后做两件事:

通过关注列表的每一个用户,对每一个用户发起请求,获取其详细信息

处理分页,判断paging内容,获取下一页的关注列表

改写parse_follows如下:

def parse_follows(self, response):

results = json.loads(response.text)

# 对用户关注列表的接析,json数据中有两个字段,分别为data和page,其中page是分页信息

if 'data' in results.keys():

for result in results.get('data'):

yield scrapy.Request(self.user_url.format(user=result.get('url_token'), include=self.user_query), self.parse_user)

## 判断page是否存在切is_end是否为false,即判断是否最后一页

if 'paging' in results.keys() and results.get('paging').get('is_end') == False:

next_page = results.get('paging').get('next')

## 获取下一页地址并返回request

yield scrapy.Request(next_page, self.parse_follows)

运行爬虫,成功爬取信息。

4. 编写prase_followers

通过获取关系列表实现循环递归爬取后,可以同样的方式获取用户的粉丝列表。经过分析后发现粉丝列表的api也类似,除了将followee换成follower外其他完全相同,所以我们也可通过同样的逻辑添加followers相关信息。

需要改动的位置有:

在zhihu.py中添加followers_url和followers_query

在start_requests中添加yield followers信息

在parse_user中添加yield followers信息

编写parse_followers

如此一来,该spider便完成了,我们便可通过其实现知乎社交网络的递归爬取。

完整的zhihu.py代码如下:

# -*- coding: utf-8 -*-

from zhihu_user.items import UserItem

import json

import scrapy

class ZhihuSpider(scrapy.Spider):

name = 'zhihu'

allowed_domains = ['www.zhihu.com']

# 查询用户信息的url地址

user_url = 'https://www.zhihu.com/api/v4/members/{user}?include={include}'

user_query = 'allow_message,is_followed,is_following,is_org,is_blocking,employments,answer_count,follower_count,articles_count,gender,badge[?(type=best_answerer)].topics'

# 查询关注列表的url地址

follows_url = 'https://www.zhihu.com/api/v4/members/{user}/followees?include={include}&offset={offset}&limit={limit}'

follows_query = 'data[*].answer_count,articles_count,gender,follower_count,is_followed,is_following,badge[?(type=best_answerer)].topics'

# 查询粉丝列表的url地址

followers_url = 'https://www.zhihu.com/api/v4/members/{iser}/followers?include={include}&offset={offset}&limit={limit}'

followers_query = 'data[*].answer_count,articles_count,gender,follower_count,is_followed,is_following,badge[?(type=best_answerer)].topics'

# 起始用户

start_user = 'excited-vczh'

def start_requests(self):

yield scrapy.Request(self.user_url.format(user=self.start_user, include=self.user_query), callback=self.parse_user)

yield scrapy.Request(self.follows_url.format(user=self.start_user, include=self.follows_query, limit=20, offset=0), callback=self.parse_follows)

yield scrapy.Request(self.followers_url.format(user=self.start_user, include=self.followers_query, limit=20, offset=0), callback=self.parse_followers)

def parse_user(self, response):

result = json.loads(response.text)

item = UserItem()

for field in item.fields:

if field in result.keys():

item[field] = result.get(field)

yield item

yield scrapy.Request(self.follows_url.format(user=result.get('url_token'), include=self.follows_query, limit=20, offset=0), self.parse_follows)

yield scrapy.Request(self.followers_url.format(user=result.get('url_token'), include=self.followers_query, limit=20, offset=9), self.parse_followers)

def parse_follows(self, response):

results = json.loads(response.text)

# 对用户关注列表的接析,json数据中有两个字段,分别为data和page,其中page是分页信息

if 'data' in results.keys():

for result in results.get('data'):

yield scrapy.Request(self.user_url.format(user=result.get('url_token'), include=self.user_query), self.parse_user)

## 判断page是否存在切is_end是否为false,即判断是否最后一页

if 'paging' in results.keys() and results.get('paging').get('is_end') == False:

next_page = results.get('paging').get('next')

## 获取下一页地址并返回request

yield scrapy.Request(next_page, self.parse_follows)

# 编写逻辑同parse_follows

def parse_followers(self, response):

results = json.loads(response.text)

if 'data' in results.keys():

for result in results.get('data'):

yield scrapy.Request(self.user_irl.format(user=result.get('url_token'), include=self.user.query), self.parse_user)

if 'paging' in results.keys() and results.get('paging').get('is_end') == False:

next_page = results.get('paging').get('next')

yield scrapy.Request(next_page, self.parse_followers)

在anaconda虚拟环境命令行中运行:

scrapy crawl zhihu -o zhihu.csv

可将爬取得到的内容保存成csv格式。json,xml,pickle,marshal亦同。

小结

在本次对知乎用户信息的爬取中,通过分析知乎用户的页面结构,对zhihu.py, item.py进行编写并实现了以下逻辑:

start_requests,通过从一个知乎大V用户,开始整个爬取过程

parse_user,实现了对用户详细信息和其关注与粉丝列表的获取

parse_follows,实现了通过关注列表重新请求用户并翻页的功能

parse_followers,实现了通过粉丝列表重新请求用户并翻页的功能

mongoDBpipelines,实现了将粉丝数据保存到数据库的功能

后续可进行的改进:

通过Redis实现分布式爬虫

数据清洗

Cookies池对接

代理池对接

额外信息

配置爬虫关闭的条件

在scrapy的默认配置文件中存在四个配置:

CLOSESPIDER_TIMEOUT = 0

CLOSESPIDER_PAGECOUNT = 0

CLOSESPIDER_ITEMCOUNT = 0

CLOSESPIDER_ERRORCOUNT = 0

该四个配置用于配置爬虫的自动关闭条件,等于0代表不开启。其中:

CLOSESPIDER_TIMEOUT表示指定爬虫运行的秒数

CLOSESPIDER_ITEMCOUNT表示爬虫爬取的条目数

CLOSESPIDER_PAGECOUNT表示爬虫爬取的响应数

CLOSESPIDER_ERRORCOUNT表示爬虫爬取可以接受的最大错误数

当这四个值不为0时,spider的过程中的任意一项参数超过配置数后,爬虫便会被自动关闭。运行时在命令行中设置:

scrapy crawl zhihu -s CLOSESPIDER_ITEMCOUNT=10

scrapy crawl zhihu -s CLOSESPIDER_PAGECOUNT=10

scrapy crawl zhihu -s CLOSESPIDER_TIMEOUT=10

scrapy crawl zhihu -s CLOSESPIDER_ERRORCOUNT=10

reference:

你可能感兴趣的:(yield,python3,知乎)