什么是Scrapyd
- Scrapyd是什么
Scrapyd是部署和运行Scrapy.spider的应用程序。它使您能够使用Json Api部署（上传）项目，并控制其spider
- Scrapyd如何运作
Scrapyd是一个应用程序（通常作为守护程序进行），它监听蜘蛛的运行请求，并为每一个蜘蛛生成一个进程
- 特点
1. 可以避免爬虫源码被看到
2. 有版本控制
3.可以远程启动、停止、删除
安装Scrapyd
- 安装Scrapyd
pip install scrapyd
- 安装Scrapyd-deploy
pip install scrapyd-client (客户端)
Scrapyd的简单使用
运行命令：scrapyd
默认端口6800，所以我们访问localhost:6800
发布项目到Scrapyd
- 打开scrapy.cfg文件，解开[deploy]，下边的url的注释
[图片上传失败...(image-e3562b-1555589528319)]
project = 项目名称 （这里的名字可以随意）
可以修改[deploy]为[deploy:100]，表示把爬虫发布到名为100的爬虫服务器上，一般在需要同时发布爬虫到多个目标服务器时使用
运行命令开启scrapyd：scrapyd-deploy
-p --version
参数解释：
Target：deploy后面的名称，可以为空
Project：自省定义名称，跟爬虫的工程名字无关
Version: 自行定义版本号，不懈的话默认为当前时间戳
创建运行爬虫任务
运行命令 curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name 这里的schedule.json只是scrapyd里的一个API接口，scrapyd还提供其他API接口，具体如下。 scrapyd的控制API
Scrapyd的控制Api
- 检查服务状态（ daemonstatus.json）
curl http://localhost:6800/daemonstatus.json
[图片上传失败...(image-1e3e14-1555589528319)]
- 增加项目到服务器（ addversion.json）
如果项目已经存在服务器，则增加一个新的版本
POST请求：
project（string，required） 项目名
version（string，required）项目名版本
egg（file，required）当前项目的egg文件
命令：curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F [email protected]
[图片上传失败...(image-13c4b0-1555589528319)]
- 启动一个爬虫项目（ schedule.json）
POST请求：
project（string，required） - 项目名
spider（string，required）- 怕重名，spider类中指定的name
setting（string，optional） - 自定义爬虫settings
jobid（string，optional）- jobid，之前启动过的sipder，会有一个id
_version（string，optional）-版本号，之前部署的时候的version，只能使用int数据类型，没指定，默认启动最新版本
命令:curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
[图片上传失败...(image-6c5f4-1555589528319)]
- 取消一个spider的运行（cancel.json）
如果 spider是运行状态，则停止其运行
如果 spider是挂起状态，则删除spider
POST请求：
project（string，required） - 项目名
job（string，required） - jobid
命令：curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d86511e8247444
[图片上传失败...(image-3b8427-1555589528319)]
- 获取当前已上传的项目的列表（listprojects.json）
GET请求：
curl http://localhost:6800/listprojects.json
[图片上传失败...(image-369b57-1555589528319)]
- 获取指定项目的可用版本（listversions.json）
GET请求：
project（string，required）- 项目名
curl http://localhost:6800/listversions.json?project=myproject
[图片上传失败...(image-d6ecc1-1555589528319)]
- 获取指定版本的项目中的爬虫列表（listspiders.json）
如果没有指定版本，则是最新版本
- 获取指定项目中所有挂起、运行和运行结束的job（listjobs.json）
GET请求：
project (string, option) - restrict results to project name
curl http://localhost:6800/listjobs.json?project=myproject | python -m json.tool
结果：
{ "status":"ok", "pending":[ { "project":"myproject","spider":"spider1", "id":"78391cc0fcaf11e1b0090800272a6d06" } ], "running":[ { "id":"422e608f9f28cef127b3d5ef93fe9399", "project":"myproject","spider":"spider2", "start_time":"2012-09-12 10:14:03.594664" } ], "finished":[ { "id":"2f16646cfcaf11e1b0090800272a6d06", "project":"myproject","spider":"spider3", "start_time":"2012-09-12 10:14:03.594664", "end_time":"2012-09-12 10:24:03.594664" } ] }
- 删除指定项目的指定版本（delversion.json）
POST请求：
project（string，required） - 项目的名字
version（string，required）- 项目的版本
curl http://localhost:6800/delversion.json -d project=myproject -d version=r99
- 删除指定项目，并且包括所有的版本
POST 请求：
project（string，required）- 项目的名字