Scrapy如何获取返回的headers里面的多个Set-Cookie

爬虫有时候需要先拿到cookie, 然后再用cookie去访问其他页面。当遇到返回的response的headers中包含多个Set-Cookie时,如何获取呢?
如果直接用requests模块:

#获取响应的cookie
        html = requests.get(url,headers=Head,verify=False,timeout=maxExcuteTime)
        cookie=html.headers['Set-Cookie']

这种方式可以获取。


如果用scrapy的话,用上面的方式只能拿到一个Set-Cookie,此时我们需要:

cookie = response.headers.getlist('Set-Cookie')

这样可以获取到一个Set-Cookie列表。然后可以把各个Set-Cookie组合在一起,就可以访问新的页面了!!!

你可能感兴趣的:(spider,scrapy,Python)