爬虫概述

1.爬虫的分类
1.1根据被爬取网站的数量不同，可以分为：
①通用爬虫：如搜索引擎。 依靠连接，漫无目的全网爬取
②聚焦爬虫：如12306抢票，或专门抓取某一个（某一类）网站的数据

1.2根据是否以获取数据为目的，可以分为：
①功能性爬虫，给你喜欢的明星投票，点赞
②数据增量爬虫，比如招聘信息

1.3根据url地址和内容的变化形式，数据增量爬虫可以分为：
①基于url地址变化、内容也随之变化的数据增量爬虫。
②url地址不变，内容变化的数据增量爬虫

2.爬虫的流程
2.1.获取一个url
2.2向url发送请求，并获取响应
2.3 解析数据做相应处理