scrapyd分布式爬虫部署

1. 需要安装scrapyd=1.2.0  scrapy-client=1.2.0a1
2. 启动scrapyd服务
3. 
4. 配置爬虫项目

1. 开始向scrapyd中部署项目

通过scrapyd-deploy命令测试scrapyd-deploy是否可用。

查看当前可用于部署到scrapyd服务中的爬虫有哪些。

参数1： [deploy: jobbole]

参数2： scrapy.cfg文中中的url

命令scrapy list用来查看当前项目中，可用的爬虫。

列举scrapyd服务中已经部署的爬虫项目：

取消某个爬虫项目 

curl http://localhost:6800/cancel.json -d project=myproject（项目名称） -d job=6487ec79947edab326d6db28a2d86511e8247444（id）

scrapyd文档网址http://scrapyd.readthedocs.io/en/stable/api.html#cancel-json