【python】——爬虫01 概述

一、概要

1. 概念

• 模拟客户端
• 发送网络请求
• 接受请求
• 按规则抓取信息
• 的程序

2. 作用

• 数据采集（评论、信息）
• 软件测试（selenium）
• 抢票投票
• 安全（漏洞扫描软件）

3. 分类

数量：

• 通用爬虫：引擎 （无上限
• 聚焦爬虫：抢票（专门抓某一网站

是否获取数据：

• 功能性爬虫：投票、点赞
• 数据增量爬虫

url是否变化

• url变化，数据变化
• url不变，数据变化

4. 流程

5. http协议复习

• 超文本传输协议：明文传输—— 默认端口80

• https：http+SSL安全套接字层——默认端口443

6. 关注请求头、请求体

做伪装，必须用到响应头

Request Headers：
Content-Type
Host 主机端口号
Connection 连接类型
User-agent 浏览器名称
Referer 页面跳转
Cookie
Authorization 

7. 状态响应码

我们在学习web知识的时候就已经学过了状态码的相关知识，我们知道这是服务器给我的相关反馈，我们在学习的时候就被教育说应该将真实情况反馈给客户端，但是在爬虫中，可能该站点的开发人员或者运维人员为了阻止数据被爬虫轻易获取，可能在状态码上做手脚，也就是说返回的状态码并不一定就是真实情况，比如:服务器已经识别出你是爬虫，但是为了让你疏忽大意，所以照样返回状态码200，但是响应体重并没有数据。
所有的状态码都不可信，一切以是否从抓包得到的响应中获取到数据为准，渲染后element的结果也不可信

8. 浏览器运行 和 爬虫

• 爬虫 ： 只会请求url地址
• 浏览器：发送请求+进行渲染