windos部署scrapyd部署scrapy

scrapyd部署爬虫的优势：

• 方便监控爬虫的实时运行状态，也可以通过接口调用开发自己的监控爬虫的页面
• 方便统一管理，可以同时启动或关闭多个爬虫
• 拥有版本控制，如果爬虫出现了不可逆的错误，可以通过接口恢复到之前的任意版本

1. 安装

   pip install scrapyd
   pip install scrapyd-client
   # 启动服务
   scrapyd
   

2.增加文件

scrapyd-deploy 新增同名文件 scrapyd-deploy.bat
左侧项目的项目环境python绝对位置， 右侧为同级目录下scrapyd-deploy

	@echo off
	"C:\Users\Administrator\AppData\Local\Temp\py_tornado\Scripts\python.exe"  "C:\Users\Administrator\AppData\Local\Temp\py_tornado\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

3. 爬虫项目修改

   [deploy:MyScrapy] 中间不能有空格
   

5. 项目中scrapy.cfg统计目录下执行

```
scrapyd-deploy
如出现： 'scrapyd-deploy' 不是内部或外部命令，也不是可运行的程序
参考第二步配置
```

查看部署项目scrapyd-deploy -l
查看部署爬虫scrapy list
执行打包上传命令 scrapyd-deploy 项目名称(在scrapy.cfg中设置的) -p 爬虫项目名
运行命令:curl http://localhost:6800/schedule.json -d project=项目名称 -d spider=爬虫名称
停止爬虫curl http://localhost:6800/cancel.json -d project=scrapy项目名称 -d job=运行ID

PS:其他一些命令

删除scrapy项目curl http://localhost:6800/delproject.json -d project=scrapy项目名称(要先停止)

查看有多少个scrapy项目在api中curl http://localhost:6800/listprojects.json
获取状态http://127.0.0.1:6800/daemonstatus.json
获取项目列表http://127.0.0.1:6800/listprojects.json
获取项目下已发布的爬虫列表http://127.0.0.1:6800/listspiders.json?project=myproject
获取项目下已发布的爬虫版本列表http://127.0.0.1:6800/listversions.json?project=myproject
获取爬虫运行状态http://127.0.0.1:6800/listjobs.json?project=myproject
启动服务器上某一爬虫http://127.0.0.1:6800/schedule.json （post方式，data={"project":myproject,"spider":myspider}）（必须是已发布到服务器的爬虫）
删除某一版本爬虫http://127.0.0.1:6800/delversion.json
（post方式，data={“project”:myproject,“version”:myversion}）
删除某一工程，包括该工程下的各版本爬虫http://127.0.0.1:6800/delproject.json（post方式，data={“project”:myproject}）