scrapy的部署

一.scrapyd
1.打开scrapy.cfg,取消url的注释；在[depoly]中加一个变量名[depoly name]
2.安装scrapyd
pip install scrapyd
scrapyd运行在服务器端,安装好之后,会生成一个scrapyd.exe文件,直接运行就开启了一个服务，并在当前文件夹下生成一个dbs文件夹
3.安装scrapyd-client
pip install scrapy-client
安装完成后,会在python/scrapy/文件夹下生成一个scrapyd-deploy的文件,此文件在linux 和 mac 系统可直接使用,在windows系统下,需要在创建一个.bat文件,里边的代码如下(路径根据自己的写):

@echo off
"C:\Users\gjf\env\ScrapyEnv\Scripts\python/exe" "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\Scripts\scrapy-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

4.在虚拟环境中运行新建的.bat文件

      # 可显示项目名
      scrapy-deploy-l  
      # 将项目打包为.egg 并上传到服务器端的dbs文件夹内
      scrapy-deploy name -p 项目名   

5.在服务器端执行命令:

# 开启爬虫
curl http:://localhost:6800/schedule.json -d project=项目名 -d spider=爬虫名

# 停止爬虫
curl http://localhost:6800/cancel.json -d project = 项目名 -d job = jobID