爬虫应对CSRF防御问题

近期小伙伴让帮忙写一个模拟登录爬虫的时候遇到的一个问题，来记录一下。

在模拟登录的时候，首先进行了一次login的登录操作，抓包返回的参数如下。

点击登录键后返回值

可以看到，在人工点击登录的过程中，实际上post过去的值有3个，即username，password以及csrfmiddlewaretoken。经过搜索相关资料了解到，这个是被用作CSRF即防跨域访问的一种手段，即通过验证是否在当前请求中传入参数而非其他请求中传入。如果本次请求没有给出csrfmiddlewaretoken或者给出错误的csrfmiddlewaretoken就会登陆失败。

那么为了解决这个问题，我先在原始的html里面找了一下csrfmiddlewaretoken存在的位置，于是我发现他被放在一个隐藏的input模块中，如下。

csrfmiddlewaretoken

在重新登入页面后我发现，首次访问login页面的时候是用的get方法，且在首次访问的过程中就会存在csrfmiddlewaretoken。于是，在进行参数post之前，应该先对页面进行一次get访问。然后通过bs4的处理方式先将csrfmiddlewaretoken提取出来。

这里有一个问题，即不能直接使用request方法，因为对于一次request而言，每一次的csrfmiddlewaretoken都是不同的，因此为了保持get和post两次request的csrfmiddlewaretoken能够通用，就必须在这里引入session，而不能直接使用request进行两次访问。

部分源代码如下:

import requests
import datetime
from bs4 import BeautifulSoup
import pandas as pd
# python2 
try:
    # python2 
    import cookielib
    print(f"user cookielib in python2.")
except:
    # python3 
    import http.cookiejar as cookielib
    print(f"user cookielib in python3.")
# 创建session
gsmSession = requests.Session()
# cookie转为cookiejar
gsmSession.cookies = cookielib.LWPCookieJar(filename = "gsmCookies.txt")

userAgent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36"

header = {
        "Referer": "http://xxxx/userlogin/login/",
        'User-Agent': userAgent,
        'Connection':'keep-alive'
    }

login_url = "http://xxxx/userlogin/login/" 

#获取登录csrf
def getLogin_csrf():
    print("开始获取csrf")  
    responseRes = gsmSession.get(login_url,headers = header)
    soup_Res = BeautifulSoup(responseRes.text,'lxml')
    data_Res = soup_Res.find_all('input',{'name':'csrfmiddlewaretoken'})
    csrfmiddlewaretoken = data_Res[0]['value']
    print("csrfmiddlewaretoken = "+ csrfmiddlewaretoken)
    return csrfmiddlewaretoken

#登录进行登录
def gsmLogin(account, password):    
    #获取登录csrf
    csrfmiddlewaretoken = getLogin_csrf()    
    # 开始模拟登录
    print("开始模拟登录")

    postData = {
        "password": password,    
        "username": account,
        "csrfmiddlewaretoken":csrfmiddlewaretoken
    }
    # 传参登录
    responseRes = gsmSession.post(login_url, data = postData, headers = header)
    # 是否登陆成功 statusCode = 200
    print(f"statusCode = {responseRes.status_code}")
    print(responseRes.headers)
    print(gsmSession.cookies)
    #登录成功后保留cookie
    gsmSession.cookies.save()

if __name__ == "__main__":
    #配置用户密码
    account='xxxxxxx'
    password='xxxxxxx'
    #开始登录
    gsmLogin(account, password)     
    gsmSession.cookies.load("gsmCookies.txt")