使用scrapy-redis构建简单的分布式爬虫
前言
scrapy是python界出名的一个爬虫框架。Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
虽然scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有能人改变了scrapy的队列调度，将起始的网址从start_urls里分离出来，改为从redis读取，多个客户端可以同时读取同一个redis，从而实现了分布式的爬虫。就算在同一台电脑上，也可以多进程的运行爬虫，在大规模抓取的过程中非常有效。
准备
既然这么好能实现分布式爬取，那都需要准备什么呢？
需要准备的东西比较多，都有：
- scrapy
- scrapy-redis
- redis
- mysql
- python的mysqldb模块
- python的redis模块
为什么要有mysql呢？是因为我们打算把收集来的数据存放到mysql中
1. scrapy安装
pip install scrapy
也可以clone下相应的github地址https://github.com/scrapy/scrapy/tree/1.1
2. scrapy-redis安装
pip install scrapy-redis
同样可以clone下相应的github地址https://github.com/rolando/scrapy-redis
他俩具体有什么区别呢？https://www.zhihu.com/question/32302268/answer/55724369有知乎大神的回答
3.redis
redis本身只提供了在类linux环境中安装，不支持windows，官网http://redis.io/，如果需要在windows下做练习的朋友，可以参考我的这篇http://blog.csdn.net/howtogetout/article/details/51520254
4.mysql
因为我们打算用mysql来存储数据，所以mysql的配置是不可或缺的。下载地址http://dev.mysql.com/downloads/
5.mysqldb模块和redis模块
为什么需要这2个呢，是因为python不能直接操作数据库，需要通过库来支持。而这2个就是相应数据库的支持库。
mysqldb：https://sourceforge.net/projects/mysql-python/files/mysql-python/1.2.3/，windows环境下可以直接下.exe来快速安装
redis：
pip install redis
这样就是最简单的了。
动工
先来看下scrapy-redis的一些不同的地方。
首先就是class的父对象变了，变成了特有的RedisSpider，这是scrapy-redis里面自己定义的新的爬虫类型。其次就是不再有start_urls了，取而代之的是redis_key，scrapy-redis将key从list中pop出来成为请求的url地址。
我们这次选取的对象是58同城的平板电脑信息。
首先来看一下架构信息。
scrapy.cfg文件我们可以不管，readme.rst文件也不管（这个是github上有用的，scrapy创建项目的时候并没有）
pbdnof58文件夹内的结构：
items定义文件，settings设置文件，pipelines处理文件以及spiders文件夹。
spiders文件夹盛放着我们编写的具体爬虫：
可以看到里面有2个爬虫，一个是用来爬所有的url地址，并将其传递给redis。而另外一个则是根据爬取出来的地址处理具体的商品信息。
具体来看。首先是settings.py文件。
跟scrapy一样，写明spider的位置。
2个处理数据的pipeline中的类，数字越小优先执行。
因为数据要存放在mysql中，所以需要配置下mysql的信息。而redis是默认采用本地的，所以并没有配置信息，如果是连接别的主机的话，需要配置下redis的连接地址。
item.py文件
与scrapy相比多了个调度文件，多了个ItemLoader类，照着做就好了，ItemLoader类后面会用到的。
pipeline.py文件
最重要的是这个将结果存储到mysql中。
要在一个名为qcl的数据库之中建一个名叫58pbdndb的表。qcl对应settings的配置。
create table 58pbdndb(
id INT NOT NULL AUTO_INCREMENT,
title VARCHAR(100) NOT NULL,
price VARCHAR(40) NOT NULL,
quality VARCHAR(40),
area VARCHAR(40),
time VARCHAR(40) NOT NULL,
PRIMARY KEY ( id )
)DEFAULT CHARSET=utf8;
注意：我并没有在表的一开始检查字段是否存在，如果你在调试过程中不止一次的话，你可能需要多次删除表中数据。
58Urlspider.py文件
这个爬虫实现了2个功能。1是如果next（也就是下一页）存在，则把下一页的地址压进redis的myspider:58_urls的这个list中，供自己继续爬取。2是提取出想要爬取的商品具体网址，压进redis的myspider:start_urls的list中，供另一个爬虫爬取。
58spider-redis.py文件
这个爬虫是用来抓取具体的商品信息。可以看到ItemLoader类的add_path和add_value方法的使用。
最后
运行方法跟scrapy相同，就是进入pbdnof58文件夹下（注意下面是只有spiders文件夹的那个）.输入
scrapy crawl myspider_58page和scrapy crawl myspider_58
可以输入多个来观察多进程的效果。。打开了爬虫之后你会发现爬虫处于等待爬取的状态，是因为2个list此时都为空。所以需要
lpush myspider:58_urls http://hz.58.com/pbdn/0/
来设置一个初始地址，好啦，这样就可以愉快的看到所有的爬虫都动起来啦。
最后来张数据库的图
本文相对比较简单，只是scrapy-redis的基本应用。本人也比较小白，刚刚开始学习，如有什么问题，欢迎提出来共同进步。
ps：本文的github地址：https://github.com/qcl643062/spider/tree/master/pbdnof58