1. 爬取思路
https://blog.csdn.net/seven_2016/article/details/72802961
1.1 三种策略
[基于scrapy-redis的三种爬虫策略]https://www.cnblogs.com/qq1141/p/7057819.html
三种策略：
- slaver从master领取任务，并且把新发现的任务提交给master
- 由master负责发现新任务，slaver只负责领任务干活
- slaver领取新任务时询问master是否新任务，master只做指示
1.2 系统架构
scrapy+redis+mongoDb（存储）+django web+semantic ui （展示）
骚操作：1. 增量爬取和去重 2. 动态ua,动态代理 3. 非200请求状态处理 4. 人工打码等
20170529201944719.png
20170529203108386.png
1.3 爬虫运行流程
redis会存在两个由sorted set实现的 LIFO 队列: next_link 、detail_request。master先推请求链接到redis，爬虫获取初始链接开始爬取，返回结果包括下一页链接和内容详情页，分别放到不同队列里。slave端从detail_request拉取内容详情页开始解析并且保存到mongodb。
1.4 QA
1.4.1 为何要去重与增量爬取？
去重与增量爬取，对于服务器有很重大的意义，能够减少服务器的压力以及保证数据的准确性。如果不采取去重处理，那么抓取的内容会抓取大量重复内容，让爬虫效率极大的下降。
1.4.2 反爬虫常见措施？
- 频繁访问输入验证码或者重新登录
- 封禁IP
1.4.3 如何反反爬虫？
- 模拟不同浏览器行为（定义ua列表）
- 以一定频率更换代理服务器和网关(爬取足量免费ip代理，设置代理请求)
- 减少并发爬取的进程，限制每个ip并发爬取的次数
- 禁用cookie，网站会在用户访问时在cookie中插入一些信息来判断是否是机器人，我们屏蔽调cookie（有点蒙蔽）
- 人工打码，这应该是无懈可击的防被禁措施，所有系统也比不过人工的操作，但是减少了自动化，效率也不高，但确实最有效的措施。爬虫被禁的时候，会重定向到一个验证码页面去，输入验证码即可重新有权限访问页面，为此，我加了邮件提醒模块，当爬虫被禁，发邮件提醒管理员解封，同时将重定向的请求重新加入到待爬取的下载队列当中，保证数据的完整度。
1.5 爬虫异常状态组件的处理
20170529221005515.png
2.环境、工具安装
未完待续，参考https://github.com/shisiying/tc_zufang githuber的代码，本地执行