python爬虫之Scrapy介绍九——scrapyd部署scrapy项目

1 scrapyd的介绍

scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行，scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们
所谓json api本质就是post请求的webapi
网址：https://scrapyd.readthedocs.io/en/latest/

1.1 scrapyed安装

scrapyd服务端安装:
pip install scrapyd
scrapyd客户端安装:
pip install scrapyd-client

1.2 启动scrapyd服务

1.在scrapy项目路径下 启动scrapyd的命令：sudo scrapyd 或 scrapyd
2.启动之后就可以打开本地运行的scrapyd，浏览器中访问本地6800端口可以查看scrapyd的监控界面

其中，Available projects，可以获得的项目,项目部署后会出现这个位置
Jobs:查看任务状态
document：是scrapyed的介绍文档
log:任务运行日志

1.3 scrapy项目部署

（1）配置需要部署的项目
编辑需要部署的项目的scrapy.cfg文件(需要将哪一个爬虫部署到scrapyd中，就配置该项目的该文件)

[deploy:部署名(部署名可以自行定义)]
url = http://localhost:6800/
project = 项目名(创建爬虫项目时使用的名称)

[settings]
default = AmazonSpider.settings

[deploy:amzon]
url = http://localhost:6800/
project = AmazonSpider

（2）部署项目到scrapyd
同样在scrapy项目路径下执行：
scrapyd-deploy 部署名(配置文件中设置的名称) -p 项目名称

scrapyd-deploy amzon -p AmazonSpider

注意：window下的scrapyd运行可能会出现错误
需要配置文件
参见：‘scrapyd-deploy’ 不是内部或外部命令，也不是可运行的程序或批处理文件

scrapyd-deploy amzon -p AmazonSpider

1.4 管理scrapy项目

启动项目：curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name
关闭爬虫：curl http://localhost:6800/cancel.json -d project=project_name -d job=jobid
注意；curl是命令行工具，如果没有则需要额外安装

1.5 使用requests模块控制scrapy项目

import requests

# 启动爬虫
url = 'http://localhost:6800/schedule.json'
data = {
	'project': 项目名,
	'spider': 爬虫名,
}
resp = requests.post(url, data=data)

# 停止爬虫
url = 'http://localhost:6800/cancel.json'
data = {
	'project': 项目名,
	'job': 启动爬虫时返回的jobid,
}
resp = requests.post(url, data=data)

1.6 了解scrapyd的其他webapi

• curl http://localhost:6800/listprojects.json （列出项目）
• curl http://localhost:6800/listspiders.json?project=myspider （列出爬虫）
• curl http://localhost:6800/listjobs.json?project=myspider （列出job）