gerapy框架的安装使用

原文链接： https://www.jianshu.com/p/277db0e1f740

一，gerapy框架

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们：

• 更方便地控制爬虫运行
• 更直观地查看爬虫状态
• 更实时地查看爬取结果
• 更简单地实现项目部署
• 更统一地实现主机管理
• 更轻松地编写爬虫代码(几乎没用,感觉比较鸡肋)

各个框架的作用：

1. Scrapy：是一个基于Twisted的异步IO框架，有了这个框架，我们就不需要等待当前URL抓取完毕之后在进行下一个URL的抓取，抓取效率可以提高很多。

2. Scrapy-redis：虽然Scrapy框架是异步加多线程的，但是我们只能在一台主机上运行，爬取效率还是有限的，Scrapy-redis库为我们提供了Scrapy分布式的队列，调度器，去重等等功能，有了它，我们就可以将多台主机组合起来，共同完成一个爬取任务，抓取的效率又提高了。

3. Scrapyd：分布式爬虫完成之后，接下来就是代码部署，如果我们有很多主机，那就要逐个登录服务器进行部署，万一代码有所改动..........可以想象，这个过程是多么繁琐。Scrapyd是专门用来进行分布式部署的工具，它提供HTTP接口来帮助我们部署，启动，停止，删除爬虫程序，利用它我们可以很方便的完成Scrapy爬虫项目的部署。

4. Gerapy：是一个基于Scrapyd，Scrapyd API，Django，Vue.js搭建的分布式爬虫管理框架。简单点说，就是用上述的Scrapyd工具是在命令行进行操作，而Gerapy将命令行和图形界面进行了对接，我们只需要点击按钮就可完成部署，启动，停止，删除的操作。

二，gerapy的安装

1.gerapy下载

pip install gerapy
gerapy 查看是否安装成功

成功信息：

    Usage:
      gerapy init [--folder=]
      gerapy migrate
      gerapy createsuperuser
      gerapy runserver []

2.初始化gerapy

gerapy init

会在当前目录下生成一个名字为 gerapy 的文件夹，接着进入该文件夹，可以看到有一个 projects 文件夹
3.初始化数据库
要cd 到gerapy目录

cd gerapy
gerapy migrate

会在gerapy目录下生产一个sqlite数据库，同时创建数据表

-----------------------整体流程------------------------

4.png

---

4.运行gerapy服务

gerapy runserver

gerapy runserver 0.0.0.0:8000 【如果你是在本地，执行 gerapy runserver即可，如果你是在远程上，你就要改成前面这样来执行】
5.访问gerapy管理界面
浏览器输入

http://127.0.0.1:8000

 

三，gerapy使用

1.配置主机
就是配置我们scrapyd 远程服务.

需要添加 IP、端口，以及名称，点击创建即可完成添加，点击返回即可看到当前添加的 Scrapyd 服务列表
2.启动scrapyd服务
需要在gerapy目录下启动

scrapyd

3.把项目文件放到projects下

4.项目管理

可以点击上图中的编辑，在线编辑项目，如果项目没有问题，可以点击部署进行打包和部署，在部署之前要打包项目（打包成一个egg文件），可以部署到多台主机。

部署完毕后，可以回到主机管理页面进行任务调度。点击调度即可进入任务管理页面，可以查看当前主机所有任务的运行状态：

通过点击运行，停止按钮来实现任务的启动和停止，同时可以展开任务条目查看日志详情。

下面是抓取的数据存入MongoDB数据库：

 

四，遇见的错误

scrapy1.6 对应twisted 18.9.0，否则会报错，这个是我使用的版本，可下载
twisted18.9.0版本py3.6