[PySpider]任务阻塞Active状态解决

  • 1.查看 fetcher 日志,看看它在干嘛
  • 2.一般是fetcher在堆积了很多任务后开始出错,timeout,程序调试时出错的网址可以正常运行的,最后发现多开几个fetcher和processor就没问题了
如果机器没问题,多开一些 fetcher和processor
for i in `seq 1 5`; do
    supervise -p "var/run/status/pyspider_pr_${i}/" -f "bin/pyspider -c boot_conf/config.json processor"
done

for i in `seq 1 50`; do
    supervise -p "var/run/status/pyspider_fetch_${i}/" -f "bin/pyspider -c boot_conf/config.json fetcher"
done

参考:https://segmentfault.com/q/1010000009088512

你可能感兴趣的:([PySpider]任务阻塞Active状态解决)