【Python爬虫】知乎-虫师的粉丝信息

目的：爬取知乎，虫师主页的粉丝信息

1、寻找真实请求

以虫师的关注者练习（注意：需要先登录）

使用谷歌浏览器开发者工具寻找包含关注人信息的真实请求，以“followers”开头的请求，返回的是一个JSON格式的数据，该数据对应“关注他的人”：

image.png

双击这个请求，返回一个JSON格式的数据，可以通过安装JSONView插件在浏览器中更好地显示该数据

image.png

2、代码爬取

# -*- coding: utf-8 -*-
# __author__ = 'Carina'

import requests
import pandas as pd
import time

# 添加请求头
headers = {
"authorization": "填上你的authorization",    
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36",
}
user_data = []
def get_user_data(page):   # 实现翻页爬取功能
    for i in range(page):
        url = "https://www.zhihu.com/api/v4/members/hu-hu-66-21/followers?include=data%5B*%5D.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset={}&limit=20".format(i*20)
        r = requests.get(url, headers=headers).json()['data']   # 关注他的人都保存在data下面
        user_data.extend(r)
        print("正在爬取第%s页" % str(i+1))
        time.sleep(3)   # 爬取时间间隔

if __name__ == "__main__":
    get_user_data(10)
    df = pd.DataFrame.from_dict(user_data)
    df.to_excel('users.xlsx', "users")

途中遇到的问题：

1、返回“500 Server Error”，是由于网站反爬虫的原因
知乎的反爬虫机制是通过核对请求头信息实现的

解决办法：添加hearders请求头信息解决，根据Request Headers的选项添加，对比知乎的请求头信息和常见的请求头信息，尝试后发现authorization和User-Agent是必须要的

请求头信息承载了关于客户端浏览器、请求页面、服务器等相关的信息，用来告知服务器发起请求的客户端的具体信息

---

补充知识

• Pandas库的DataFrame的 from_dict() 可以很方便地把爬取到的数据保存为DataFrame格式的结构化数据

• HTTP Hearders：阅读HTTP响应头和请求头信息对照表，了解请求头和响应头的概念以及每个Header所代表的具体含义

• 更多关于requests headers的用法，可以查阅requests的官方文档

• JSON：javascript object notation的简写，是一个轻量级的数据交换格式，易于阅读和编写，是目前前后端最常用的数据交互格式之一
  连接API进行数据爬取的时候，数据的一般返回格式为JSON

• JSONView插件：使JSON格式的数据在谷歌浏览器中更好地呈现