windows部署SpiderKeeper(爬虫监控)

博主部署SpiderKeeper环境是windows, 相信用Linux的同学部署起来也没有任何问题.

第一步:
  mkvirtualenv 创建虚拟环境
  Linux虚拟环境配置
  Windows虚拟环境配置

第二步:

• workon spiderkeeper (本人创建的虚拟环境spiderkeeper)
• pip install spiderkeeper
• pip install scrapy
• pip install scrapy_redis
• pip install scrapyd
• pip install scrapyd_client

第三步:
  先进入虚拟环境，直接在任意目录下命令行输入spiderkeeper即可运行spiderkeeeper

第四步：
  使用scrapyd打包你的项目生成.egg文件，以便后面传到spiderkeeper上面

python "C:\Users\admin\workspace\pc\Lib\site-packages\scrapyd-client\scrapyd-deploy" --build-egg news.egg

第五步:
  在项目目录下启动scrapyd(注意，必须现在项目目录下的scrapy.cfg中开启url这个选项，默认是注释状态，不生效)

第六步:
  在浏览器访问127.0.0.1:5000,创建项目

  点击创建项目，项目名称自己随意设置

第七步:
  上传刚才生成的egg文件


  上传成功
第八步:
  点击仪表盘，添加一个任务


  spiderkeeper一大优点就是计划任务做的很好，帮助我们减少了一些工作。
这里计划任务根据自己需求设置，设置完点击创建即可

第九步:
  设置完成点击运行即可，如果你设置错了，也可以选择移除它。

第十步:
  部署完成，回到仪表盘看下自己的爬虫执行状态。

  不想运行了也可以点击结束爬虫，需要注意的是，一个爬虫结束后，需要在进行添加一次任务。spiderkeeper封装了scrapyd的log接口，我们可以直接点击log查看爬虫的异常信息。

扩展:
  如果想把监控部署在网络上，项目目录下scrapy.cfg中的url需要配置成0.0.0.0，设置完请重启scrapyd。
  到这里已经结束啦，喜欢的朋友点个赞吧!