Scrapy_redis
在爬虫中实现了reqeust去重，爬虫持久化，和轻松实现分布式这些强大的功能。
安装
首先使用：pip3 install scrapy-redis 安装Scrapy_redis
Scrapy_redis提供了四个模块：
Scheduler（调度器）
Duplication Filter（requst的去重过滤器）
Item Pipeline（将Item存储在redis中以实现分布式处理）
Base Spider
这就意味着我们要在原来的组件上做修改。
工作流程
下载好之后我们就修改自己的项目，首先我们修改setting里的文件：
然后我们还要在我们管道的设置里添加：
这样我们只是实现了去重和保存的功能，我们要想实现分布式还需要在项目文件中修改：
修改完我们运行代码：
出现这种状态说明我们的项目处于在运行状态，这个时候我们去启动redis的运行
然后再我们的数据库中会有四个表
xcftwo:dupefilter是我们的指纹，作用是用来查重
xcftwo:items是我们请求到的数据。
xcftwo:requests是我们的任务队列
xcftwo:srtart_urls是我们的起始url
其中在项目任务执行结束之后四张表会只剩下items表
爬虫的部署
首先我们还是安装必要的库：pip3 install scrapyd
发布爬虫需要使用另一个专用工具，就是将代码打包为EGG文件，其次需要将EGG文件上传到远程主机上这些操作需要scrapyd-client来帮助我们完成：pip3 install scrapyd-client
安装完成后可以使用如下命令来检查是否安装成功：scrapyd-deploy -h
接下来我们修改scrapy项目下scrapy.cfg配置文件：
部署有俩种方式：本地部署和远端部署
本地部署：
项目部署相关命令： 注意这里是项目的名称而不是工程的名称
scrapyd-deploy -p <项目名称>
也可以指定版本号来部署
scrapyd-deploy -p <项目名称> --version <版本号>
爬虫运行的相关命令，我们可以在https://scrapyd.readthedocs.io/en/latest/api.html 这里边查看
远端部署：
1 购买linux系统服务器
2 在终端上登录服务器
ssh unbuntu@<端口号>
然后输入密码
3 配置项目运行环境
配置python环境(ubuntu自带python3环境)
安装pip3：sudo apt install python3-pip
安装scrapy：pip3 install scrapy -i https://pypi.douban.com/simple/
如果安装失败添加如下依赖：sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
安装scrapyd: pip3 install scrapyd
安装scrapyd-client: pip3 install scrapyd-client
添加爬虫运行的三方库：
pip3 install requests
pip3 install pymysql
pip3 install pymongodb
4 修改scrapyd的配置文件，允许外网访问
查找配置文件的路径：find -name default_scrapyd.conf
修改配置文件: sudo vim 路径
把端口号改为0.0.0.0
5 去服务器安全组配置
6 最后部署爬虫项目到服务器
7 项目部署