Scrapy_redis分布式和爬虫的部署

Scrapy_redis

在爬虫中实现了reqeust去重，爬虫持久化，和轻松实现分布式这些强大的功能。

安装

首先使用：pip3 install scrapy-redis 安装Scrapy_redis

Scrapy_redis提供了四个模块：

Scheduler（调度器）

Duplication Filter（requst的去重过滤器）

Item Pipeline（将Item存储在redis中以实现分布式处理）

Base Spider

这就意味着我们要在原来的组件上做修改。

工作流程

Scrapy_redis工作流程

下载好之后我们就修改自己的项目，首先我们修改setting里的文件：

然后我们还要在我们管道的设置里添加：

这样我们只是实现了去重和保存的功能，我们要想实现分布式还需要在项目文件中修改：

修改完我们运行代码：

出现这种状态说明我们的项目处于在运行状态，这个时候我们去启动redis的运行

然后再我们的数据库中会有四个表

xcftwo:dupefilter是我们的指纹，作用是用来查重

xcftwo:items是我们请求到的数据。

xcftwo:requests是我们的任务队列

xcftwo:srtart_urls是我们的起始url

其中在项目任务执行结束之后四张表会只剩下items表

爬虫的部署

首先我们还是安装必要的库：pip3 install scrapyd

发布爬虫需要使用另一个专用工具，就是将代码打包为EGG文件，其次需要将EGG文件上传到远程主机上这些操作需要scrapyd-client来帮助我们完成：pip3 install scrapyd-client

安装完成后可以使用如下命令来检查是否安装成功：scrapyd-deploy -h

接下来我们修改scrapy项目下scrapy.cfg配置文件：

部署有俩种方式：本地部署和远端部署

本地部署：

项目部署相关命令： 注意这里是项目的名称而不是工程的名称

scrapyd-deploy -p <项目名称>

也可以指定版本号来部署

scrapyd-deploy -p <项目名称> --version <版本号>

爬虫运行的相关命令，我们可以在https://scrapyd.readthedocs.io/en/latest/api.html 这里边查看

远端部署：

1 购买linux系统服务器

2 在终端上登录服务器

ssh unbuntu@<端口号>

然后输入密码

3 配置项目运行环境

配置python环境(ubuntu自带python3环境)

安装pip3：sudo apt install python3-pip

安装scrapy：pip3 install scrapy -i https://pypi.douban.com/simple/

如果安装失败添加如下依赖：sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

安装scrapyd: pip3 install scrapyd

安装scrapyd-client: pip3 install scrapyd-client

添加爬虫运行的三方库：

pip3 install requests

pip3 install pymysql

pip3 install pymongodb

4 修改scrapyd的配置文件，允许外网访问

查找配置文件的路径：find -name default_scrapyd.conf

修改配置文件: sudo vim 路径

把端口号改为0.0.0.0

5 去服务器安全组配置

6 最后部署爬虫项目到服务器

7 项目部署