Python 爬虫：Cookies 的连续获取

问题引入

日常在编写一些自用爬虫时，通常为了方便是直接从浏览器的开发者工具中调取 cookies 字符串，然后再进行字典的转换供 requests 库使用。

cookies

class transCookie:
  def __init__(self, cookie):
    self.cookie = cookie

  def stringToDict(self):
    itemDict = {}
    items = self.cookie.split(';')
    for item in items:
      key = item.split('=')[0].replace(' ', '')
      value = item.split('=')[1]
      itemDict[key] = value
    return itemDict

if __name__ == "__main__":
  cookie = input('please input cookies str: ')
  trans = transCookie(cookie)
  print(trans.stringToDict())

但如果把程序给没有开发基础的人使用时，他们首先要打开浏览器的开发者工具，然后再切换到 Network 选项卡，再分析请求来获取 cookies，最后进行转换，这一过程是十分漫长的，也会让第一次接触的人望而生畏，甚至对一些门外汉而言，会觉得你写的程序未免也太过低端，还需要这么多前置条件，不能够直接上手。

问题解决

今天在给一个朋友写爬虫脚本时，就突然考虑到了这个用户友好的问题，思索一番之后觉得还是直接让人输入用户名密码，多发一个登陆请求来在程序里直接拿到 cookies 就很舒服了。

import requests
import random

url = 'http://jkjmjzs.jinke.com/weixin/wxAction2.ashx?t=LD&rand=%s' % random.random()
payloads = {
  'LoginID': 'username',
  'Password': 'password',
  'RememberPwd': 0
}
response = requests.post(url, data = payloads)

但是在直接调用 login 接口时，服务器端总是返回请求超时。

首先想到的是完善 headers 的信息，于是添加如下参数：

headers = {
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
  'Referer': 'http://jkjmjzs.jinke.com/weixin/wxLogin.aspx'
}

response = requests.post(url, data = payloads, headers = headers)

结果依然不理想，仍然是服务器超时，这期间额外添加了更多的 headers 头部信息，诸如 Host、Origin、Content-Type 等，但仍然没有达到想要的效果。

在仔细观察请求的往复后，发现在发送 Login Post 时，已经携带了两个字段的 cookies 信息，一时之间没有想通它们是从什么时候被携带进入浏览器的，但隐隐觉得可能这就是不被服务器识别的关键之处。

Login Post

其实仔细一想就很清楚，在提交登录表单之前，只与服务器有过一次交互，就是请求登录页面，验证之后发现果然如此：

Get Login Page

可以清晰的看到，Reponse Headers 中，Set-Cookie 一栏有相应的 token 设置。

于是乎流程就很明朗了，要先请求一次登录页面，拿到服务器端要求设置的 cookies 之后，放置在登录接口中，再将原 cookies 与登录接口返回的 cookies 进行合并，后续的 requests 请求只需要加上拼接好的 cookies 即可正常的进行数据获取。

headers = {
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
  'Referer': 'http://jkjmjzs.jinke.com/weixin/wxLogin.aspx'
}

url = 'http://jkjmjzs.jinke.com/weixin/wxLogin.aspx'
response = requests.get(url)
cookies = response.cookies.get_dict()
print(cookies)

url = 'http://jkjmjzs.jinke.com/weixin/wxAction2.ashx?t=LD&rand=%s' % random.random()
payloads = {
  'LoginID': 'username',
  'Password': 'password',
  'RememberPwd': 0
}
response = requests.post(url, data = payloads, headers = headers, cookies = cookies)
cookies.update(response.cookies.get_dict())
print(cookies)

问题总结

由以上分析可以得到一些经验教训，即在某些前置页面的请求时，可能会返回一些对后续请求有用的关键信息，这些信息不仅仅存在于返回的数据中，也有一定可能存在于 cookies 中，在后续的爬虫编写中，遇到类似问题可以考虑从这方面进行着手解决。

除此之外，还有以下几点值得注意：

• 在服务器返回异常时，务必要完善 headers 的信息，就目前的爬虫编写经验来看，User-Agent 与 Referer 是比较常用的，许多后台都会对它们进行校验，当然遇到特殊情况可一步到位，即把浏览器中请求的 headers 信息全部写入程序中

headers = {
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
  'Referer': 'http://jkjmjzs.jinke.com/weixin/wxLogin.aspx'
}

• 再者，在日常代码的编写中，为了使得程序可读性更高，通常会主观臆断去省略一些参数，如需要传递的 payloads 表单，一些没有值的 key 会被直接剔除掉，然而这对不同语言承载的后端来说，也会引发与预期不符的结果返回，所以保险起见，还是原样照搬开发者工具中所拦截的所有请求参数，空则赋空值

payloads = {
    'Word': '',
    'Status': '10',
    'MID': '',
    'MEnable': '1',
    'PageSize': '13',
    'PageIndex': page,
    'Days': '',
    'Date1': '',
    'Date2': '',
    'Sort': ''
  }