定时爬虫部署到ubuntu16.4

把你的scrapy爬虫写好后,我们就可以写脚本来执行爬虫
脚本的逻辑就是先进去到爬虫所在的文件夹然后执行scrapy crawl yourSpider(你的爬虫的名称)
有个注意点就是scrapy在脚本中要写它的绝对路径,通过命令which scrapy来获取路径
脚本内容

#!/bin/sh

cd /spider #此处写你爬虫的文件夹
/usr/local/bin/scrapy crawl yourSpider(你的爬虫的名称)

然后通过crontab -e命令去编辑

* */1 * * * sh (你脚本的绝对路径)

linux的crontab命令可以让脚本定时执行,命令的详细介绍在我的另一个博客里crontab命令详解

关闭保存后就会开始执行了,可以在爬虫中打印日志来关注执行情况