【Python网络爬虫】150讲轻松搞定Python网络爬虫付费课程笔记 篇一——爬虫基础

1. 爬虫基础

1.1 概念

爬虫是一个模拟人类请求网站行为的程序,自动请求网页、并把数据抓取下来然后使用一定的规则提取有价指的数据。

1.2 爬虫应用场景:

  1. 搜索引擎(百度或谷歌)
  2. 伯乐在线
  3. 惠惠购物助手
  4. 数据分析
  5. 抢票软件等

1.3 为什么要用Python写爬虫?通过对比多种高级语言:

【Python网络爬虫】150讲轻松搞定Python网络爬虫付费课程笔记 篇一——爬虫基础_第1张图片

 

2. HTTP 协议介绍

2.1 HTTP 协议 

指的是超文本传输协议,Hyper Text Transfer Protocol,是一种发布和接受HTML的页面的方法。服务器端口号是80端口。

HTTPS协议是HTTP协议的加密协议,在HTTP下加入了SSL层,服务器端口号是443端口。

2.2 URL 

【Python网络爬虫】150讲轻松搞定Python网络爬虫付费课程笔记 篇一——爬虫基础_第2张图片

2.3 常用请求Method

HTTP 有8种请求方式,常用的有 get 请求和 post 请求

【Python网络爬虫】150讲轻松搞定Python网络爬虫付费课程笔记 篇一——爬虫基础_第3张图片

有的网站和服务器为了做反爬虫机制,也经常不按常理出牌,如将一个本来使用get方法的请求改成post请求,这种时候要视情况而定。

2.4 常见的请求头参数

HTTP协议中向服务器发送一个请求,数据分成三个部分,第一个在url中,第二个在body中,第三个是head。

  1. user-agent :浏览器名称,标识身份,伪装爬虫,请求网页时通过这个参数可以知道请求是从哪种浏览器发送;如果 user-agent = python,对有反爬虫机制的网站来说,可以轻易判断请求时爬虫。
  2. referer:表明当前数据从哪个url来的,也可以做反爬虫技术
  3. cookie:用啦判断多词请求时标识是否是来自同一个人,标识身份

2.5 常见的响应状态码

【Python网络爬虫】150讲轻松搞定Python网络爬虫付费课程笔记 篇一——爬虫基础_第4张图片

 

你可能感兴趣的:(网络爬虫,python,http)