Python爬虫——模拟登陆爬取知乎页面

一. 具体操作步骤

知乎登陆界面：https://www.zhihu.com/#signin

打开知乎登陆页面

1）先输入一个错误登陆，然后打开Fiddler抓取提交的包

可以得到：

由抓取的包里面的信息可以知道，需要提交的表单信息有四个

_xsrf

password

captcha_type

email

2）在执行一遍1）的操作

可以得出：

_xsrf : 由系统生成刷新一次改变一次

password : 输入密码

email：输入的用户名

captcha_type : 验证码值

3）获取验证码

由于验证码是一张图片，所以我们对于验证码的获取可以采用将图片下载下来，在进行手动输入验证码获得验证码的值

a.首先获得验证码的图片url地址

https://www.zhihu.com/captcha.gif?r=1509160957148&type=login

通过r所传递的值我们可以知道这是时间戳

b.通过网址就可以下载验证码图片

c.通过本地下载的验证码图片手动输入验证码的值

4）使用post请求提交表单数据获得返回cookie就可以访问需要登录后才可以访问的任意界面了

二. 下面是具体实现代码

# _*_ coding:utf-8 _*_

#导入requests库
import requests
#导入BeautifulSoup模块
from bs4 import BeautifulSoup
import time

#_xsrf=e218097f4550911091b3cc14920b2f7d&password=asdasdasdas&captcha=%7B%22img_size%22%3A%5B200%2C44%5D%2C%22input_points%22%3A%5B%5B28.2969%2C27%5D%2C%5B69.2969%2C24%5D%5D%7D&captcha_type=cn&email=sdfsada

#保存验证码图片并返回验证码的值
def writeImage(res):
    print "保存验证码..."
    with open("page/captcha.jpg","wb") as f:
        f.write(res)
    print "保存完毕..."
    #输入保存完后图片内验证码的值
    test = raw_input("验证码为：")
    return test

def loginPage():
    # 登录网址
    url = "https://www.zhihu.com/#signin"
    # 请求报头
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

    #创建一个session用于存取cookies值
    session = requests.session()
    html = session.get(url,headers=headers).text

    #创建lxml
    bs = BeautifulSoup(html,"lxml")

    #获取_xsrf
    _xsrf = bs.find("input",attrs={"name":"_xsrf"}).get("value")

    #获取验证码
    captcha_url = "https://www.zhihu.com/captcha.gif?r=%d&type=login" % (time.time() * 1000)
    
    #发送请求获取文件流
    captcha_res = session.get(captcha_url,headers=headers).content
    
    #保存并获得验证码值
    test = writeImage(captcha_res)

    #data表单提交数据
    data = {
        "_xsrf": _xsrf,
        "password":"密码",
        "email":"账号",
        "captcha_type": test
    }

    #使用post提交登录信息，保存返回的cookie值
    session.post(url,data=data,headers=headers)

    #访问需要登录后才能访问的网页
    response = session.get("https://www.zhihu.com/people/er-kou-bu-er/activities",headers=headers)
    
    #打印网页内容
    print response.text



#https://www.zhihu.com/#signin
if __name__ == "__main__":
    loginPage()

结果：(账号密码处填写需要访问的账号和密码)