python下使用scrapy-redis模块分布式爬虫的爬虫项目部署详细教程————————gerapy

1.使用gerapy进行分布式爬虫管理

准备工作：

首先将你使用scrapy-redis写的分布式爬虫全部完善

模块准备：

安装：

pip install pymongo【依赖模块】

pip install gerapy 

2.在本地创建部署项目的文件夹

2.1例如如图在本地创建workgreapy文件夹

2.2进入该文件夹

2.3输入cmd  回车

2.4在命令行模式下输入gerapy init， 进行项目初始化

2.5 此时进入gerapy文件夹   同时将你自己写的爬虫项目文件夹放入到gerapy/project下

2.6 接下来执行gerapy migrate 进行数据库迁移

2.7接下来重新打开一个命令行窗口 win+R  输入cmd  模拟scrapyd服务端启动

2.8接下来在上一个命令行窗口下输入 gerapy runserver  进行启动管理平台

2.9打开浏览器 在地址栏输入 http://127.0.0.1:8000 回车就能看到基于gerapy的爬虫项目部署的后台页面

点击主机管理or(clients) 进行主机管理

接下来进行项目部署点击项目管理or(Projects)  点击部署  将自己的项目打包

之后再点击部署  弹出部署成功

返回主机管理  点击调度or(schedule)

至此爬虫的项目部署已经完成。点击运行  爬虫程序就可以正常运行了   由于我使用的是基于scrapy-redis模块的分布式爬虫所以需要运行redis的服务端与客户端  在客户端输入.

此时程序就可以正常启动了

0.0.0.0.0.0.0