搭建scrapyd部署爬虫定时任务

第一步：通过github安装scrapyd，进行爬虫任务部署

在命令行下执行：    git  clonehttps://github.com/scrapy/scrapyd.git

第二步：安装scrapydkeeper，进行定时任务设置：

在命令行下执行：     gitclonehttps://github.com/scrapy/scrapyd-client.git

第三步：把代码都拷贝到本地后，进入目录，分别执行：python3 setup.py install,进行安装，安装完毕后，在任意目录执行scrapykeeper，即可运行scrapykeeeper，

打开界面如下：

第四步：在爬虫跟目录下执行scrapyd，打开页面如下：

第五步：分别根据各自的提示生成对应的文件，即可实现部署、定时任务执行。