简单高效地部署和监控分布式爬虫(一)--Scrapyd

最近在使用scrapy时，面临在多个机器部署的问题，如果手动将代码拷贝到每一台机器，并且在命令行启动scrapy变得很繁琐。
本次总结将介绍使用 Scrapyd + Greapy \ ScrapydWeb 完成爬虫项目部署工作，并且结合 Docker，可以式分布式部署变得很简单高效。

第（一）篇目录：
一、Scrapyd、Gerapy、ScrapydWeb 介绍
二、Scrapyd安装
三、Scrapyd使用

一、本文用到的各模块简介。

scrapyd

scrapyd是一个可以运行scrapy的服务程序，它提供了一系列HTTP接口（如 http://127.0.0.1:6800/daemonstatus.json）供我们调用，让我们完成对爬虫程序的部署、启动、停止、删除。
同时，scrapyd支持爬虫版本管理、可管理多个爬虫任务。

Gerapy

一个分布式爬虫管理框架。在scrapyd服务启动基础上，gerapy弥补scrapyd纯命令行操作的缺点，它提供了一个图形界面可以使我们直观便捷的完成scrapyd的一系列操作。其相对于scrapydWeb来说更好上手，并且支持中英文。

scrapydWeb

一个针对scrapyd集群管理的web应用程序。可以提供日志可视化分析、自动打包、定时任务、邮件通知、移动端UI等功能，其相对于Gerapy来说更加强大，功能更加丰富。
这是官方提供的使用demo，有兴趣的可以进去点点。

其他

SpiderKeeper 也是一款开源的spider管理工具，可以方便的进行爬虫的启动，暂停，定时，同时可以查看分布式情况下所有爬虫日志，查看爬虫执行情况等功能。我没有使用到，所以本次总结暂不介绍。

二、scrapyd 的安装

1. pip安装

pip install scrapyd

2. 配置

修改scrapyd安装目录下的default_scrapyd.conf文件(没有就新建一个)。
因为本人使用anaconda管理python库，所以python的库文件都在anaconda目录下，default_scrapyd.conf的地址为
"D:\Anaconda\Lib\site-packages\scrapyd\default_scrapyd.conf"

内容如下

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
#max_proc_per_cpu = 4    (修改前)
max_proc_per_cpu = 10
finished_to_keep = 100
poll_interval = 5.0
#bind_address = 127.0.0.1   （修改前）
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root
 
[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

max_proc_per_cp 是一个cpu上运行scrapy任务的数量，我们将其改为10.
bind_address 修改为0.0.0.0 可以让外网访问（比如本地访问服务器上的scrapyd）

三、scrapyd 的使用

* 1.打开服务

安装配置完成后，命令行输入scrapyd即可打开服务。默认是在6800端口。（我们可以使用screen、tmux、supervisor来实现进程守护，让其在后台运行。待补充。。。）

* 2.Scrapyd-Client

scrapy代码部署到scrapyd的时候，第一步是需要将代码打包成egg文件，并上传到scrapyd服务器上。Scrapyd-Client就可以完成这样的工作。

安装 Scrapyd-Client
pip install scrapyd-client
验证安装
scrapyd-deploy -h 如果有类似输出，则说明安装成功：

如果出现如：

则需要在 "D:\Anaconda\Scripts" (或"C:\Python37\Scripts"类似)文件夹下，增加scrapyd-deploy.bat文件，内容填充为：

@echo off

"D:\Anaconda\python.exe" "D:\Anaconda\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

(文件路径需根据实际情况修改)

验证安装成功效果：（将test项目打包）

* 3.API的使用（官网文档）

如：运行命令查看服务端状态： curl http://localhost:6800/daemonstatus.json
即可获取当前主机的scrapy任务运行情况。