Gerapy 部署分布式爬虫项目详解

Gerapy简介

根据说明，Gerapy 应当是一款国人开发的是一款分布式爬虫管理框架（有中文界面） 。支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。

Gerapy作用

Gerapy 可以帮助我们：

1. 更方便地控制爬虫运行
2. 更直观地查看爬虫状态
3. 更实时地查看爬取结果
4. 更简单地实现项目部署
5. 更统一地实现主机管理
6. 更轻松地编写爬虫代码(几乎没用,感觉比较鸡肋)

Gerapy安装

如何下载

1.git下载 链接： https://github.com/Gerapy/Gerapy.git 。
2.用pip3 install gerapy ，这里要注意自己的python 环境。
pip命令演示如下：

$pip install gerapy
$gerapy 查看是否安装成功

成功信息：

    Usage:
      gerapy init [--folder=]
      gerapy migrate
      gerapy createsuperuser
      gerapy runserver []

Gerapy使用

首先我们创建一个目录用来存放我们的Gerapy项目，然后在保持shift键按下的状态下右击，点击进入命令行窗口。如下图：

进入命令行窗口后输入下列命令实现创建Gerapy项目

1.Greapy初始化

$gerapy init

2.初始化数据库

$cd gerapy
$gerapy migrate

3.运行Gerapy服务

$gerapy runserver

4.进入gerapy管理界面

打开浏览器在地址栏输入如下命令：

http://127.0.0.1:8000

即可看到Gerapy管理界面，如图所示：

如出现上述图片，则表示Gerapy部署成功，使用Greapy就是为了将使用命令行开启爬虫变的简单点. 我们在Gerapy中配置了scrapyd后,不需要使用命令行,可以通过图形化界面直接开启爬虫。本章就为大家介绍到站了，下一章为大家介绍，如何使用Gerapy图形化界面来管理项目。

    技术还处于基础水平，大多都还是搬运工和注释的阶段，理解都还欠佳，都是平时看书和实际工作总结和好文搬运，写博客是想大家一起探讨知识，格式也不好，需要的将就看吧，也请各位指导纠错，不喜勿喷，大家一起进步！