gerapy的运用

这个链接scrapyd的网页展示界面,让其更易于管理运行,所以是基于scrapyd的基础上

让我们减少十分多的操作,方便管理使用,当我们使用scrapyd的时候需要修改较多配置,但是gerapy直接为我们完成这些操作,直接就可以运行


进入存放scrapyd的目录下,打开cmd命令,进入虚拟环境,开启scrapyd服务器。


然后在集成环境中中安装一下 gerapy,

然后在非c盘 下传建一个文件夹,进入文件夹,在这个文件中打开cmd命令

使用 gerapy命令初始化一下,gerapy init(这个命令任意位置都可以,但是在当前路径下

会生成一个文件夹,这个文件夹就是存放gerapy工程的)

然后 输入命令 gerapy runserver 这样我们就看到gerapy应经在8000端口上运行了。

gerapy的运用_第1张图片

然后我们在浏览器中打开 127.0.0.1:8000,就可以看到gerapy的主界面了;

gerapy的运用_第2张图片

这里就显示了主机、项目、然后我么那就可以添加一个主机连接到scrapyd的服务器上,服务器的名称

可以自定义,这个名称是在gerapy上显示的名称,ip是要链接的scrapyd的主机地址,和scrapyd浏览器中打开后的

ip地址相同,

gerapy的运用_第3张图片

gerapy的运用_第4张图片

然后我们就可以把我们写好的爬虫文件放在生成的文件夹gerapy下projects内,然后刷新网页就可以发现项目就在里边了

gerapy的运用_第5张图片


而且,可以可以直接在这个项目管理中修改我们的爬虫文件,方便爬虫。

gerapy的运用_第6张图片


gerapy的运用_第7张图片

然后我们点击部署按钮就可以进行打包和部署了,描述是自定义的,这个只会在gerapy上显示,然后会提示我们打包成功,同时左侧会显示打包的结果和打包的名称。

gerapy的运用_第8张图片

打包成功后我们就可以在进行部署了,如果有多个主机的话,我们就需要选择部署的主机,点击后边部署按钮,也可以同时批量选择主机进行部署。

gerapy的运用_第9张图片

然后我们就可以在主机的项目页面点击主机,看到爬虫的运行状态,并且不用在cmd中输入命令,通过点击就可以让爬虫

运行,停止,并且查看运行状态。

gerapy的运用_第10张图片

最后,gerapy也支持在其网页上自建爬虫项目,具体这里就不介绍了。




你可能感兴趣的:(gerapy的运用)