python爬虫scrapy模拟登录demo

python爬虫scrapy模拟登录demo

背景：
初来乍到的pythoner，刚开始的时候觉得所有的网站无非就是分析HTML、json数据，但是忽略了很多的一个问题，有很多的网站为了反爬虫，除了需要高可用代理IP地址池外，还需要登录。例如知乎，很多信息都是需要登录以后才能爬取，但是频繁登录后就会出现验证码（有些网站直接就让你输入验证码），这就坑了，毕竟运维同学很辛苦，该反的还得反，那我们怎么办呢？这不说验证码的事儿，你可以自己手动输入验证，或者直接用云打码平台，这里我们介绍一个scrapy的登录用法。

测试登录地址：http://example.webscraping.com/places/default/user/login

测试主页：http://example.webscraping.com/user/profile

1、这里不在叙述如何创建scrapy项目和spider，可以看我前面的博客

我们在这里做了一个简单的介绍，我们都知道scrapy的基本请求流程是start_request方法遍历start_urls列表，然后make_requests_from_url方法，里面执行Request方法，请求start_urls里面的地址，但是这里我们用的不再是GET方法，而用的是POST方法，也就常说的登录。

1、首先我们改写start_reqeusts方法，直接GET登录页面的HTML信息（有些人说你不是POST登录么，干嘛还GET，别着急，你得先GET到登录页面的登录信息，才知道登录的账户、密码等怎么提交，往哪里提交）

2、start_request方法GET到数据后，用callback参数，执行拿到response后要接下来执行哪个方法，然后在login方法里面写入登