分布式爬虫和部署

step1: gerapy下载

pip3 install gerapy

查看是否安装成功

gerapy

step2: 初始化gerapy

进入到指定目录下（例如桌面）执行如下命令

gerapy init

step3: 初始化数据库

进入到gerapy文件夹下

cd gerapy

执行(会在gerapy目录下生产一个sqlite数据库，同时创建数据表，数据库中会保存各个主机配置信息、部署版本等)

gerapy migrate

step4: 运行gerapy服务

gerapy runserver

step5:访问gerapy管理界面

在浏览器中输入如下网址

http://127.0.0.1:8000

step6:在主机管理中添加个台主机的Scrapyd运行地址和端口，并设置名称，然后个台主机则会出现在主机列表中，Gerapy会监控个台主机的运行状态。

...................................................................................................................

处理可以管理控制已经部署好的项目外，Gerapy还支持打包和部署项目

step1:进入到gerapy文件夹下，找到projects目录

cd gerapy

step2:在此页面进行打包和部署项目到指定服务器