部署在服务器中,设置定时任务时:
52 11 * * * nohup /home/anaconda3/bin/python3 /home/monitor/monitor/resources/start.py > /home/monitor/monitor/logs/cron_log.log 2>&1 &
报错 :
Unknown command: crawl
解决方法:
进入到scrapy文件夹中,构建shell启动爬虫,定时调度脚本:
start.sh
source /etc/profile
. ~/.bash_profile
#!/bin/bash
#cd /home/monitor/monitor/
cd /home/monitor
nohup /home/anaconda3/bin/python3 /home/monitor/monitor/resources/start.py > /home/monitor/monitor/logs/cron_log.log 2>&1 &
52 11 * * * nohup /usr/bin/sh /home/monitor/monitor/resources/start.py > /dev/null 2>&1 &
官方文档
Scrapy提供了两种类型的命令。
一种必须在Scrapy项目中运行(针对项目(Project-specific)的命令),另外一种则不需要(全局命令)。
全局命令在项目中运行时的表现可能会与在非项目中运行有些许差别(因为可能会使用项目的设定)。
全局命令:
项目(Project-only)命令: