Linux + crontab + scrapy

Linux + crontab + scrapy

因为涉及python装在虚拟环境的问题，所以使用runcrawl.sh :
source …/…/venv/bin/activate
scrapy crawl ‘your scrapy name’
deactivate
现在终端运行一次，如果运行时报permission denied，到runcrawl.sh所在目录，执行chmod 777 ./runcrawl.sh即可。

终端运行通过后，添加到crontab：
crontab -e
输入 * */1 * * cd ‘scrapy.cfg路径’ ./runcrawl.sh
esc
:wq

19年9月更：
.sh文件要加#!/bin/hash