Python爬虫入门级(1) - 爬虫程序必备模块

一个简单的爬虫程序所必备的模块

(一)爬虫调度器

对整个爬虫过程的开启，服务以及停止进行管理和把控

(二)爬虫器

爬虫程序的主体部分，属于核心组件。主要分为三大块

(1)URL管理器：对将要爬取的URL和已经爬取得URL进行管理，主要作用就是防止反复爬取以及循环爬取。    
实现方式：内存(python的set)，关系性数据库(mysql,sqlserver等)，缓存数据库(redis)。

(2)网页下载器：将待下载的网页下载下来并已字符串的形式保存下来。
实现方式：python内置模块，urllib;第三方模块，requests等。

(3)网页解析器：将已经下载下来的网页字符串进行解析，从中提取有价值的数据存储起来以及将此网页中存在的其他网页URL传送到URL管理器进行闭环操作。
实现方式：模糊匹配，正则表达式;结构化解析(DOM树)，html.parser,lxml,BeautifulSoup等。

(二)网页输出器

或者称之为数据储存器，将有价值的数据进行目的性的输出与展示，比如输出到各种数据库中存储起来，一些应用程序中进行展示等

---

爬虫程序运行流程图

---