Python爬虫入门教程 84-100 通过<老家伙>spiderkeeper运行scrapy爬虫

写在前面

本篇博客内容其实和上一篇涉及的内容类似,都是爬虫管理平台。你可以通过搜索引擎找到爬虫管理平台的定义:

爬虫管理平台是一个一站式管理系统,集爬虫部署、任务调度、任务监控、结果展示等模块于一体,通常配有可视化 UI 界面,可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的,可以在多台机器上协作运行。

目前在市场上流通的一些开源爬虫管理平台如下

  • Scrapydweb 上篇博客介绍的,采用Flask+VUE实现,UI比较美观,支持scrapy日志解析、节点管理、定时任务、邮件提醒等功能,但是不支持scrapy以外的其他爬虫,比较遗憾。
  • SpiderKeeper 本篇博客待介绍的,基于scrapyd,开源版的scrapyhub,同样不支持scrapy以外的爬虫。
  • Gerapy 采用Django+VUE实现,该平台国内大佬开发,UI美观,支持的功能与Scrapydweb类似,后面单独写一篇博客给大家介绍一下。
  • Grawlab 采用Golang+VUE 实现,该平台不局限于scrapy了,可以运行各种爬虫,不过部署比较复杂,后面依旧单独写一篇博客给大家分享。

spiderkeeper官网

github地址:

你可能感兴趣的:(爬虫100例教程,python,分布式,python爬虫百例,python爬虫100例,python爬虫入门教程)