Gerapy分布式爬虫管理框架

                                  Gerapy分布式爬虫管理框架

推荐参考：关于Gerapy其他功能介绍——打开连接

                  GitHub详细的介绍——打开连接

一、介绍：

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。

 

二、gerapy的初始化配置：

进入虚拟环境：workon 环境名字

1、安装gerapy框架。

$ pip install gerapy

 

2、检查gerapy是否可用。

$ gerapy

 

3、初始化gerapy，生成gerapy框架的工作目录。(在哪初始化，工作目录就创建在哪。初始化完成，进入gerapy文件夹，会有一个projects文件夹。可以先自定义创建一个文件夹然后cd进入，在执行下面的操作！)

$ gerapy init

 

4、先进入gerapy目录，再执行gerapy数据库的初始化，建立相关的数据库表。

$ cd gerapy

$ gerapy migrate

 

5、在gerapy目录下，启动gerapy服务，默认在8000端口。

$ gerapy runserver

 

6、打开浏览器，输入：http://localhost:8000，可以看到 Gerapy 的主界面。

 

7、完成以上步骤，说明gerapy初始化成功了。但是现在还没有添加主机和项目，所有的主机数量和项目数量都是0。

 

 

三、配置gerapy的主机

1. 点击左侧 Clients 选项卡，即主机管理页面，添加我们的 Scrapyd 远程服务，点击右上角的创建按钮即可添加我们需要管理的 Scrapyd 服务。

2、在cmd中，开启scrapyd服务。(如果scrapyd在远程服务器上已经部署成功了，那么是不需要再次进行开启的。一般远程服务器上的scrapyd会一直保持运行状态。)

3、再次刷新主机管理，scrapyd的连接状态变成normal即可。

四、在gerapy中部署爬虫项目

1. 点击左侧的 Projects ，即项目管理选项。

 

2、将自己的爬虫项目，拷贝到gerapy目录下的projects目录下。

 

3、刷新浏览器页面，我们便可以看到 Gerapy 检测到了这个项目。

 

4、点击部署（deploy）按钮进行打包和部署，在右下角我们可以输入打包时的描述信息，类似于 Git 的 commit 信息，然后点击打包按钮，即可发现 Gerapy 会提示打包成功，同时在左侧显示打包的结果和打包名称。

 

5、开始打包。

 

6、打包完成以后，开始将爬虫项目部署到scrapyd服务上。

五、开始调度爬虫，检测爬虫的运行状态。

1. 部署完毕之后就可以回到 “主机管理”页面进行任务调度。

 

 

 

2、选择要运行的爬虫项目。

 

3、查看运行结果。

 

4、删除已经部署的项目

在命令行：scrapyd中操作