爬虫有时候需要先拿到cookie, 然后再用cookie去访问其他页面。当遇到返回的response的headers中包含多个Set-Cookie时,如何获取呢?
如果直接用requests模块:
#获取响应的cookie
html = requests.get(url,headers=Head,verify=False,timeout=maxExcuteTime)
cookie=html.headers['Set-Cookie']
这种方式可以获取。
如果用scrapy的话,用上面的方式只能拿到一个Set-Cookie,此时我们需要:
cookie = response.headers.getlist('Set-Cookie')
这样可以获取到一个Set-Cookie列表。然后可以把各个Set-Cookie组合在一起,就可以访问新的页面了!!!