Python爬虫之模拟知乎登录的方法教程

@本文来源于公众号：csdn2299，喜欢可以关注公众号 程序员学府

在爬虫过程中，有些页面在登录之前是被禁止抓取的，这个时候就需要模拟登陆了，下面这篇文章主要给大家介绍了利用Python爬虫模拟知乎登录的方法教程，文中介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧。

前言

对于经常写爬虫的大家都知道，有些页面在登录之前是被禁止抓取的，比如知乎的话题页面就要求用户登录才能访问，而 “登录” 离不开 HTTP 中的 Cookie 技术。

登录原理

Cookie 的原理非常简单，因为 HTTP 是一种无状态的协议，因此为了在无状态的 HTTP 协议之上维护会话（session）状态，让服务器知道当前是和哪个客户在打交道，Cookie 技术出现了 ，Cookie 相当于是服务端分配给客户端的一个标识。
浏览器第一次发起 HTTP 请求时，没有携带任何 Cookie 信息
服务器把 HTTP 响应，同时还有一个 Cookie 信息，一起返回给浏览器
浏览器第二次请求就把服务器返回的 Cookie 信息一起发送给服务器
服务器收到HTTP请求，发现请求头中有Cookie字段， 便知道之前就和这个用户打过交道了。

实战应用

用过知乎的都知道，只要提供用户名和密码以及验证码之后即可登录。当然，这只是我们眼中看到的现象。而背后隐藏的技术细节就需要借助浏览器来挖掘了。现在我们就用 Chrome 来查看当我们填完表单后，究竟发生了什么？
（如果已经登录的，先退出）首先进入知乎的登录页面 https://www.zhihu.com/#signin ，打开 Chrome 的开发者工具条（按 F12）先尝试输入一个错误的验证码观察浏览器是如何发送请求的。
从浏览器的请求可以发现几个关键的信息

登录的 URL 地址是 https://www.zhihu.com/login/email
登录需要提供的表单数据有4个：用户名（email）、密码（password）、验证码（captcha）、_xsrf。
获取验证码的URL地址是 https://www.zhihu.com/captcha.gif?r=1490690391695&type=login
_xsrf 是什么？如果你对CSRF（跨站请求伪造）攻击非常熟悉的话，那么你一定知道它的作用，xsrf是一串伪随机数，它是用于防止跨站请求伪造的。它一般存在网页的 form 表单标签中，为了证实这一点，可以在页面上搜索 “xsrf”，果然，_xsrf在一个隐藏的 input 标签中
摸清了浏览器登录时所需要的数据是如何获取之后，那么现在就可以开始写代码用 Python 模拟浏览器来登录了。登录时所依赖的两个第三方库是 requests 和 BeautifulSoup，先安装

pip install beautifulsoup4==4.5.3
pip install requests==2.13.0

http.cookiejar 模块可用于自动处理HTTP Cookie，LWPCookieJar 对象就是对 cookies 的封装，它支持把 cookies 保存到文件以及从文件中加载。

而 session 对象 提供了 Cookie 的持久化，连接池功能，可以通过 session 对象发送请求

首先从cookies.txt 文件中加载 cookie信息，因为首次运行还没有cookie，所有会出现 LoadError 异常。

from http import cookiejar
session = requests.session()
session.cookies = cookiejar.LWPCookieJar(filename='cookies.txt')
try:
 session.cookies.load(ignore_discard=True)
except LoadError:
 print("load cookies failed")

获取 xsrf

前面已经找到了 xsrf 所在的标签，，利用 BeatifulSoup 的 find 方法可以非常便捷的获取该值

def get_xsrf():
 response = session.get("https://www.zhihu.com", headers=headers)
 soup = BeautifulSoup(response.content, "html.parser")
 xsrf = soup.find('input', attrs={"name": "_xsrf"}).get("value")
 return xsrf

获取验证码

验证码是通过 /captcha.gif 接口返回的，这里我们把验证码图片下载保存到当前目录，由人工识别，当然你可以用第三方支持库来自动识别，比如 pytesser

def get_captcha():
 """
 把验证码图片保存到当前目录，手动识别验证码
 :return:
 """
 t = str(int(time.time() * 1000))
 captcha_url = 'https://www.zhihu.com/captcha.gif?r=' + t + "&type=login"
 r = session.get(captcha_url, headers=headers)
 with open('captcha.jpg', 'wb') as f:
  f.write(r.content)
 captcha = input("验证码：")
 return captcha

登录

一切参数准备就绪之后，就可以请求登录接口了。

def login(email, password):
 login_url = 'https://www.zhihu.com/login/email'
 data = {
  'email': email,
  'password': password,
  '_xsrf': get_xsrf(),
  "captcha": get_captcha(),
  'remember_me': 'true'}
 response = session.post(login_url, data=data, headers=headers)
 login_code = response.json()
 print(login_code['msg'])
 for i in session.cookies:
  print(i)
 session.cookies.save()

请求成功后，session 会自动把 服务端的返回的cookie 信息填充到 session.cookies 对象中，下次请求时，客户端就可以自动携带这些cookie去访问那些需要登录的页面了。

auto_login.py 示例代码

# encoding: utf-8
# !/usr/bin/env python
"""
作者：liuzhijun
"""
import time
from http import cookiejar
 
import requests
from bs4 import BeautifulSoup
 
headers = {
  "Host": "www.zhihu.com",
  "Referer": "https://www.zhihu.com/",
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87'
}
 
# 使用登录cookie信息
session = requests.session()
session.cookies = cookiejar.LWPCookieJar(filename='cookies.txt')
try:
  print(session.cookies)
  session.cookies.load(ignore_discard=True)
 
except:
  print("还没有cookie信息")
 
 
def get_xsrf():
  response = session.get("https://www.zhihu.com", headers=headers)
  soup = BeautifulSoup(response.content, "html.parser")
  xsrf = soup.find('input', attrs={"name": "_xsrf"}).get("value")
  return xsrf
 
 
def get_captcha():
  """
  把验证码图片保存到当前目录，手动识别验证码
  :return:
  """
  t = str(int(time.time() * 1000))
  captcha_url = 'https://www.zhihu.com/captcha.gif?r=' + t + "&type=login"
  r = session.get(captcha_url, headers=headers)
  with open('captcha.jpg', 'wb') as f:
    f.write(r.content)
  captcha = input("验证码：")
  return captcha
 
 
def login(email, password):
  login_url = 'https://www.zhihu.com/login/email'
  data = {
    'email': email,
    'password': password,
    '_xsrf': get_xsrf(),
    "captcha": get_captcha(),
    'remember_me': 'true'}
  response = session.post(login_url, data=data, headers=headers)
  login_code = response.json()
  print(login_code['msg'])
  for i in session.cookies:
    print(i)
  session.cookies.save()
 
 
if __name__ == '__main__':
  email = "xxxx"
  password = "xxxxx"
  login(email, password)

非常感谢你的阅读
大学的时候选择了自学python，工作了发现吃了计算机基础不好的亏，学历不行这是

没办法的事，只能后天弥补，于是在编码之外开启了自己的逆袭之路，不断的学习python核心知识，深

入的研习计算机基础知识，整理好了，我放在我们的微信公众号《程序员学府》，如果你也不甘平庸，之外的东西，比如，如何做一个精致的程序员，而不是“屌丝”，程序员本身就是高贵的一种存在啊，难道不是吗？[点击加入]想做你自己想成为高尚人，加油！