[scrapyd] 使用web UI管理爬虫项目

需求

• 安装scrapyd：开启一个web UI，监测爬虫运行状态。
• 安装scrapyd-client：使用scrapyd-deploy工具将scrapy工程部署到web UI。
  
  

项目开始

-使用scrapyd命令开启一个web UI，在本地浏览器中输入localhost:6800进入scrapy工程项目管理面板。

• 修改scrapy工程文件夹下的scrapy.cfg文件，修改[deploy]段落下的内容。

[deploy]
url = http://localhost:6800/
username = scrapy
password = secret
project = yourproject

• 在scrapy工程文件夹下，使用scrapyd-deploy部署scrapy工程。
• scrapyd-deploy工具在scrapy-client程序包目录下，同时也可以在python安装文件夹下的Scripts文件夹中找到。解决Windows下找不到scrapyd-deploy命令问题：在`文件夹下新建scrapyd-deploy.bat`文件，在文件中添加以下内容：

@echo off
python python安装目录\Scripts\scrapyd-deploy %*

• 使用以下命令开启web UI中的scrapy工程

curl http://localhost:6800/schedule.json -d project=projectName -d spider=spiderName

• 使用以下命令手动终止web UI中正在运行的的scrapy工程

curl http://localhost:6800/cancel.json -d project=projectName -d job=jobId