Python爬虫教程-34-分布式爬虫介绍

Python爬虫教程-34-分布式爬虫介绍

  • 分布式爬虫在实际应用中还算是多的,本篇简单介绍一下分布式爬虫

什么是分布式爬虫

  • 分布式爬虫就是多台计算机上都安装爬虫程序,重点是联合采集。单机爬虫就是只在一台计算机上的爬虫。
  • 其实搜索引擎都是爬虫,负责从世界各地的网站上爬取内容,当你搜索关键词时就把相关的内容展示给你,只不过他们那都是灰常大的爬虫,爬的内容量也超乎想象,也就无法再用单机爬虫去实现,而是使用分布式了,一台服务器不行,我来1000台。我这么多分布在各地的服务器都是为了完成爬虫工作,彼此得通力协作才行啊,于是就有了分布式爬虫
  • 单机爬虫的问题:
    • 一台计算机的效率问题
    • IO 的吞吐量,传输速率也有限
  • 多爬虫问题

    • 多爬虫要实现数据共享
      • 比如说一个爬取了某个网站,下载了哪些内容,其他爬虫要知道,以避免重复爬取等很多问题,所以要实现数据共享
    • 在空间上不同的多台机器,可以成为分布式
      Python爬虫教程-34-分布式爬虫介绍_第1张图片
    • 多爬虫条件:
      • 需要共享队列
      • 去重,让多个爬虫不爬取其他爬虫爬取过的爬虫
    • 理解分布式爬虫:
      • 假设上万的 url 需要爬取,有 100 多个爬虫,分布在全国不同的城市
      • url 被分给不同的爬虫,但是不同爬虫的效率又是不一样的,所以说共享队列,共享数据,让效率高的爬虫多去做任务,而不是等着效率低的爬虫
    • Redis
      • Redis 是完全开源免费的,遵守BSD协议,是一个高性能的 key-value 数据库
      • 内存数据库,数据存放在内存
      • 同时可以落地保存到硬盘
      • 可以去重
      • 可以把 Redis 理解成一共 dict,set,list 的集合体
      • Redis 可以对保存的内容进行生命周期
      • Redis 教程:Redis 教程 - 菜鸟教程
  • 内容保存数据库

    • MongoDB,运行在内存,数据保存在硬盘
    • MySQL
    • 等等

安装 scrapy_redis

  • 1.打开【cmd】
  • 2.进入使用的 Anaconda 环境
  • 3.使用 pip 安装
  • 4.操作截图
    Python爬虫教程-34-分布式爬虫介绍_第2张图片

分布式爬虫的结构

主从分布式爬虫
  • 所谓主从模式,就是由一台服务器充当 master,若干台服务器充当 slave,master 负责管理所有连接上来的 slave,包括管理 slave 连接、任务调度与分发、结果回收并汇总等;每个 slave 只需要从 master 那里领取任务并独自完成任务最后上传结果即可,期间不需要与其他 slave 进行交流。这种方式简单易于管理,但是很明显 master 需要与所有 slave 进行交流,那么 master 的性能就成了制约整个系统的瓶颈,特别是当连接上的slave数量庞大的时候,很容易导致整个爬虫系统性能下降
  • 主从分布式爬虫结构图:
    Python爬虫教程-34-分布式爬虫介绍_第3张图片
    这是经典的主从分布式爬虫结构图,图中的控制节点ControlNode就是上面提到的master,爬虫节点SpiderNode就是上面提到的slave。下面这张图展示了爬虫节点slave的执行任务示意图
  • 控制节点执行流程图:
    Python爬虫教程-34-分布式爬虫介绍_第4张图片
  • 这两张图很明了地介绍了整个爬虫框架,我们在这里梳理一下:
    • 1.整个分布式爬虫系统由两部分组成:master控制节点和slave爬虫节点
    • 2.master控制节点负责:slave节点任务调度、url管理、结果处理
    • 3.slave爬虫节点负责:本节点爬虫调度、HTML下载管理、HTML内容解析管理
    • 4.系统工作流程:master将任务(未爬取的url)分发下去,slave通过master的URL管理器领取任务(url)并独自完成对应任务(url)的HTML内容下载、内容解析,解析出来的内容包含目标数据和新的url,这个工作完成后slave将结果(目标数据+新url)提交给master的数据提取进程(属于master的结果处理),该进程完成两个任务:提取出新的url交于url管理器、提取目标数据交于数据存储进程,master的url管理进程收到url后进行验证(是否已爬取过)并处理(未爬取的添加进待爬url集合,爬过的添加进已爬url集合),然后slave循环从url管理器获取任务、执行任务、提交结果……
  • 本篇就介绍到这里了
更多文章链接:Python 爬虫随笔


- 本笔记不允许任何个人和组织转载

你可能感兴趣的:(#,Python,爬虫)