python3 scrapy模拟登陆豆瓣

首先感谢知乎，在我遇到问题时提问有人及时帮助解决。问题在下面说。

1。遇到的问题

由于程序没有做后续的数据处理，所以没有用到pipelines，只在爬虫文件里编辑，在模拟浏览器时也将也将浏览器header写在db.py文件中，在知乎得到答案，USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.167 Safari/537.36'，将之写入settings中就可以正常验证登陆。

2。具体过程

1，进入目录创建scrapy项目scrapy startproject douban
2，进入dangdang，创建爬虫文件scrapy genspider -t basic db douban.com
3，判断是否出现验证码（如果出现验证码，则使用xpath获取验证码地址肯定大于0，否则没有验证码直接登陆），通过浏览器抓包分析，得到登录时的from_password及from_email字段。
打开浏览器豆瓣登陆界面，使用chrome检查下的network，

触发一次登陆后，我们的到所要的字段，这些信息就是我们所要的data信息

编写db.py文件
具体代码如下：

import scrapy
import urllib.request
from scrapy import Request
class DbSpider(scrapy.Spider):
    name = 'db'
    allowed_domains = ['douban.com']
    #start_urls = ['http://douban.com/']
    def start_requests(self):#该方法必须返回一个可迭代对象。该对象包含了spider用于爬取的第一个Request。当spider启动爬取并且未制定URL时，该方法被调用。meta参数的作用是传递信息给下一个函数,下面start_requests中键‘cookiejar’是一个特殊的键，scrapy在meta中见到此键后，会自动将cookie传递到要callback的函数中。既然是键(key)，就需要有值(value)与之对应，例子中给了数字1，也可以是其他值，比如任意一个字符串。可以理解为：再次刷新网页时不丢失登陆信息？
        return [Request('https://accounts.douban.com/login?',callback=self.parse,meta={'cookiejar':1})]

    def parse(self, response):
        capt = response.xpath('//div/img[@id="captcha_image"]/@src').extract()#获取验证码地址
        url = 'https://accounts.douban.com/login'
        print(capt)
        if len(capt)>0:#判断是否有验证
            print('有验证码')
            local_path = 'capt.jpeg'
            urllib.request.urlretrieve(capt[0], filename=local_path)#保存验证码到本地
            print('查看本地验证码图片并输入')
            capt_id = response.xpath('//div/input[@name="captcha-id"]/@value').extract()
            captcha_value = input()#验证码
            data = {#均从chrome浏览器检查及查看源码抓包来
                    'form_email': '********',#邮箱账号
                    'form_password': '********',#密码
                    'captcha-solution': captcha_value,
                    'source':'index_nav',
                    'captcha-id':capt_id,
                    'redir': 'https://www.douban.com/people/174174633/'#登陆成功要返回的link，我们返回主页
                    }
        else:
            print('没有验证码')
            data = {
                    'form_email':'********',#账号
                    'form_password':'*********',#密码
                    'source':'index_nav',
                    'redir':'https://www.douban.com/people/174174633/'
                    }
            print('login...')
        return [#使用Scrapy抓取网页时，如果想要预填充或重写像用户名、用户密码这些表单字段， 可以使用 FormRequest.from_response() 方法实现
            scrapy.FormRequest.from_response(response,
            meta={'cookiejar':response.meta['cookiejar']},
            dont_filter=False,
            formdata=data,
            callback=self.after_login)
            ]
    def after_login(self,response):#要爬的数据
        print('logined')
        summary = response.xpath('//*[@id="intro_display"]/text()').extract()#获取登陆后的简介
        print(summary[0])

4，scrapy crawl db --nolog执行，得到结果为：

其中下载的验证码