爬虫入门(1)网页抓包信息查看

1.抓包

打开所爬网站,右键单击,选择”检查“。

选择”network"

爬虫入门(1)网页抓包信息查看_第1张图片

 

2.查看网站url:

3.查看请求方法

下面一行紧接着就是请求方法(requests调用的方法)

 爬虫入门(1)网页抓包信息查看_第2张图片

4.查看 返回内容的类型:

爬虫入门(1)网页抓包信息查看_第3张图片

5. 查看返回内容:

爬虫入门(1)网页抓包信息查看_第4张图片

6.查看User-Agent

爬虫入门(1)网页抓包信息查看_第5张图片

 主要用来进行UA伪装。

#UA伪装 UA:User-Agent
#UA检测:门户网站会检测对应请求的身份载体,如果检测到是一款浏览器,就说明该请求正常。就不会拒绝,如果检测到身份标识不是某一款浏览器,则请求不正常,是基于爬虫的,服务器端很有可能拒绝该次请求。
#UA伪装:让爬虫对应的请求身份载体伪装成某一款浏览器

 

你可能感兴趣的:(爬虫入门学习,爬虫,python)