Scrapy项目部署到Gerapy分布式爬虫框架流程

---

参考链接：https://blog.csdn.net/qq_38003892/article/details/80427278

准备工作

• 安装Gerapy ，pip install gerapy
• 安装Scrapyd ，'pip install scrapyd'

开始部署

（1）在电脑任意位置新建一个文件夹，如view_spider
（2）打开cmd，进入到这个文件夹下，输入命令gerapy init

01.png

这时他会生成一个文件夹

02.png

在这个文件夹下还有一个文件夹

03.png

（3）进入到gerapy文件夹下，在输入 gerapy migrate完成gerapy初始化工作

Image 4.png

（4）将scrapy项目放到projects目录下
（5）利用gerapy runserver，启动gerapy

Image 5.png

（6）打开浏览器输入 127.0.0.1:8000

image.png

（7）另开启一个新的cmd，输入 scrapyd，开启 scrapyd

Image 6.png

（8）在gerapy中加载scrapyd服务器

image.png

（9）填写信息

image.png

（10）打包部署项目

image.png

image.png