【Python网络爬虫】150讲轻松搞定Python网络爬虫付费课程笔记 篇一——爬虫基础

1. 爬虫基础

1.1 概念

爬虫是一个模拟人类请求网站行为的程序，自动请求网页、并把数据抓取下来然后使用一定的规则提取有价指的数据。

1.2 爬虫应用场景：

1. 搜索引擎（百度或谷歌）
2. 伯乐在线
3. 惠惠购物助手
4. 数据分析
5. 抢票软件等

1.3 为什么要用Python写爬虫？通过对比多种高级语言：

 

2. HTTP 协议介绍

2.1 HTTP 协议 

指的是超文本传输协议，Hyper Text Transfer Protocol，是一种发布和接受HTML的页面的方法。服务器端口号是80端口。

HTTPS协议是HTTP协议的加密协议，在HTTP下加入了SSL层，服务器端口号是443端口。

2.2 URL 

2.3 常用请求Method

HTTP 有8种请求方式，常用的有 get 请求和 post 请求

有的网站和服务器为了做反爬虫机制，也经常不按常理出牌，如将一个本来使用get方法的请求改成post请求，这种时候要视情况而定。

2.4 常见的请求头参数

HTTP协议中向服务器发送一个请求，数据分成三个部分，第一个在url中，第二个在body中，第三个是head。

1. user-agent ：浏览器名称，标识身份，伪装爬虫，请求网页时通过这个参数可以知道请求是从哪种浏览器发送；如果 user-agent = python，对有反爬虫机制的网站来说，可以轻易判断请求时爬虫。
2. referer：表明当前数据从哪个url来的，也可以做反爬虫技术
3. cookie：用啦判断多词请求时标识是否是来自同一个人，标识身份

2.5 常见的响应状态码