爬虫入门&分类

网站的三大特性：

1. 每一个资源都有一个url（统一资源定位符）,是唯一的

2. 每一个网页都是使用HTML文本展示数据的

3. 通过http或https（超文本传输协议），去获取和传递HTML源码

如何实现一个爬虫

1. 找到目标url

2. 根据url发起请求

3. 解析响应结果

1. 提取目标数据

2. 如果存在新的url，进一步提取（会执行1-3这个循环）

4. 爬虫结束：所有符合条件的url请求全部获取完毕。

爬虫分为两类：

通用爬虫：是浏览器的重要组成部分，将互联网上所有的网页下载到本地，做了一个本分

提取重要数据（过滤数据，分词，去广告等等。。。）步骤跟上面的介绍类似

搜索引擎的爬去的url通过什么方式获取的？？

1. 通过网站的外链

2. 通过网页提交url

3. 各大搜索引擎公司也会和DNS服务商合作

DNS：将域名转换成ip的技术

通用爬虫的缺点：

需要遵循robots协议

搜索引擎发挥的结果没有很好的针对性，不能够特殊的用户群体返回对应的数据

搜索引擎一般情况下获取的是文本信息，处理图像，音频，视频多媒体还是困难的。

聚焦爬虫：是面向主题的爬虫（有需求产出的），是一种定向的爬虫，在爬去网页数据的时候，会对网页筛选，保证抓取相关徐数据，以后更多的聚焦爬虫

判断页面静态或动态

是否静态：进入源码搜索内容有为静

是否动态：结果不变不停的获取数据（ajax）/ 源码中没有数据

找到数据：进入Network 中的XHR

Preview预览 

可以使用selenium（获取页面源码是经过浏览器渲染后的最终结果）

请求头：

User-Agent：模拟浏览器加载

Cookies：携带cookies第一可以维持回话，告诉浏览器用户身份信息

Referer：告诉浏览器，当前请求，是从哪个页面发起的。

urlopen参数：

url : 设定目标url

data=None：默认为None表示是个get请求；如果不为None，表示一个post请求

timeout：指定超时时间

cafile=None：可以指定证书文件(一般情况下用不到这个参数)

capath=None：指明整数路径

cadefault=False：是否要使用默认的证书

context=None：赋值则表示忽略来认证的ssl证书