Python爬虫入门级(1) - 爬虫程序必备模块

一个简单的爬虫程序所必备的模块

Python爬虫入门级(1) - 爬虫程序必备模块_第1张图片

(一)爬虫调度器

对整个爬虫过程的开启,服务以及停止进行管理和把控

(二)爬虫器

爬虫程序的主体部分,属于核心组件。主要分为三大块

(1)URL管理器:对将要爬取的URL和已经爬取得URL进行管理,主要作用就是防止反复爬取以及循环爬取。    
实现方式:内存(python的set),关系性数据库(mysql,sqlserver等),缓存数据库(redis)。

(2)网页下载器:将待下载的网页下载下来并已字符串的形式保存下来。
实现方式:python内置模块,urllib;第三方模块,requests等。

(3)网页解析器:将已经下载下来的网页字符串进行解析,从中提取有价值的数据存储起来以及将此网页中存在的其他网页URL传送到URL管理器进行闭环操作。
实现方式:模糊匹配,正则表达式;结构化解析(DOM树),html.parser,lxml,BeautifulSoup等。

(二)网页输出器

或者称之为数据储存器,将有价值的数据进行目的性的输出与展示,比如输出到各种数据库中存储起来,一些应用程序中进行展示等


爬虫程序运行流程图

Python爬虫入门级(1) - 爬虫程序必备模块_第2张图片


你可能感兴趣的:(Python爬虫入门级(1) - 爬虫程序必备模块)