Python爬虫之Scrapy

Python爬虫之Scrapy

  • 1、概念
  • 2、工作流程
    • 2.1 基本爬虫流程
    • 2.2 基本爬虫模块关系
    • 2.3 Scrapy工作流程
  • 3、Scrapy中每个模块的具体作用

1、概念

Scrapy是一个Python编写的开源网络爬虫框架,它是一个被设计用于爬取网络数据、提取结构性数据的框架。

Scrapy 使用了Twisted异步网络框架,可以加快我们的下载速度。

官方文档地址:Scrapy

2、工作流程

  • 爬虫中起始的url构造成request对象 —> 爬虫中间件 —> 引擎 —> 调度器
  • 调度器把request —> 引擎 —> 下载中间件 —> 下载器
  • 下载器发送请求,获取response响应 —> 下载中间件 —> 引擎 —> 爬虫中间件 —> 爬虫
  • 爬虫提取url地址,组装成request对象 —> 爬虫中间件 —> 引擎 —> 调度器,重复步骤2
  • 爬虫提取数据 —> 引擎 —> 管道处理和保存数据

2.1 基本爬虫流程

Python爬虫之Scrapy_第1张图片

2.2 基本爬虫模块关系

Python爬虫之Scrapy_第2张图片

2.3 Scrapy工作流程

Python爬虫之Scrapy_第3张图片

3、Scrapy中每个模块的具体作用

Python爬虫之Scrapy_第4张图片

你可能感兴趣的:(python,笔记,python,爬虫,开发语言)