Scrapy项目部署到Gerapy分布式爬虫框架流程

1 准备工作

(1)安装Gerapy
通过pip install gerapy即可
(2)安装Scrapyd
通过pip install scrapyd即可
(3)写好的Scrapy项目,如:
这里写图片描述

2 开始部署

(1)在电脑任意位置新建一个文件夹,如:
这里写图片描述
(2)打开cmd,进入到这个文件夹下,输入命令gerapy init
这里写图片描述
这时他会给我生成一个文件夹
这里写图片描述
在这个文件夹下还有一个文件夹
这里写图片描述
(3)进入到gerapy文件夹下,在输入gerapy migrate完成gerapy初始化工作
Scrapy项目部署到Gerapy分布式爬虫框架流程_第1张图片
(4)将scrapy项目放到projects目录下
(5)利用gerapy runserver,启动gerapy
Scrapy项目部署到Gerapy分布式爬虫框架流程_第2张图片
(6)打开浏览器输入127.0.0.1:8000
Scrapy项目部署到Gerapy分布式爬虫框架流程_第3张图片
(7)另开启一个新的cmd,输入scrapyd,开启scrapyd
Scrapy项目部署到Gerapy分布式爬虫框架流程_第4张图片
(8)在gerapy中加载scrapyd服务器
Scrapy项目部署到Gerapy分布式爬虫框架流程_第5张图片
(9)填写信息
Scrapy项目部署到Gerapy分布式爬虫框架流程_第6张图片
(10)打包部署项目
Scrapy项目部署到Gerapy分布式爬虫框架流程_第7张图片
Scrapy项目部署到Gerapy分布式爬虫框架流程_第8张图片
Scrapy项目部署到Gerapy分布式爬虫框架流程_第9张图片

你可能感兴趣的:(scrapy)