Gerapy 分布式爬虫管理框架使用心得

要在远程服务器上布署自己的分布式爬虫，个人比较推荐gerapy爬虫管理框架。
这里就详细介绍一下gerapy的用法。

1.首先要下载grapy,同样如果使用虚拟环境做开发，以下操作全部在虚拟环境下进行，先进入命令行工具，进入虚拟环境，执行pip install gerapy

2.安装之后进行初始化，执行gerapy init
执行完毕之后，本地便会生成一个名字为 gerapy 的文件夹，接着进入该文件夹，可以看到有一个 projects 文件夹，我们后面会用到。

3.紧接着在gerapy目录下执行gerapy migrate
这样它就会在 gerapy 目录下生成一个 SQLite 数据库，同时建立数据库表。

4.gerapy这时已经配置完毕，接下来还有其他的准备工作要做
a.既然要在远程服务器（也是从属机）上的分布式爬虫，远程服务器必须开启scrapyd服务，进入scrapydtest文件，在命令行输入scrapyd。
b.主机必须在命令行中开启redis服务和scrapyd服务，保留命令行窗口
c.必须准备一套公用的分布式爬虫代码，里面的cfg文件，以及settings，爬虫文件都要配置好，备用。
d.如果要连接远程服务器，也就是从属机，每一台服务器都需要修改一个配置，如下（目的是开放权限，让主机可以连接各个从属机）：

5.接下来在gerapy目录下输入 gerapy runserver 命令
（这里也可以输入gerapy runserver 0.0.0.0， 这样的话其他服务器也可以操作主机的gerapy进行布署）

6.打开127.0.0.1:8000,进入gerapy主机管理页面
7.创建所需的服务器主机，地址是从属服务器的ip地址，即可调度各个服务器向服务器布署项目
8.将需要布署的项目文件夹拷贝进gerapy目录下的projects文件夹下
在项目界面即可显示自己需要布署的项目，确认分布式爬虫文件无误，一键打包，向各服务器批量布署
9.返回主机界面，调度各服务器，即可发现项目已布署进各个目标服务器
10.接下来，就要运行自己的爬虫了，在redis目录下，输入redis-cli -h 主机域名 -p 6379，确保连接后，在管理页面，调度各服务器，运行分布式爬虫，
接着在命令行工具继续输入lpush命令，向远程服务器布署的分布式爬虫就开始运行了。
11.期间可以在查看主机各服务器爬虫的运行状态，也可以管理运行或停止
注意事项：
为一切流程正常进行
各从属机必须一直开启scapyd服务
主机必须开启redis服务
scrapyd服务
gerapy运行窗口也要保留
其余注意事项参考上两篇博客
基于scrapy_redis部署分布式爬虫
scrapyd布署爬虫项目
怎么样，是不是很方便啊！！！！！！！！