爬虫笔记(十)——学会使用Fiddler

Fiddler是一个常见的抓包分析软件,同时我们可以利用它详细地对HTTP请求进行分析,并模拟对应的HTTP请求。

为什么使用Fiddler软件?

   网络爬虫是自动爬取网页的程序,在爬取的过程中必然涉及客户端和服务器端之间的通信,自然也需要发送一些HTTP请求,并接收服务器返回的结果。在一些稍复杂的网络请求中,我们直接看网址变化是看不出规律的,此时如果要进行自动化爬取网页,就必须要通过程序构造这些请求,而通过程序构造这些请求,就必须首先分析这些请求的规律。所以此时我们要使用工具截获这些请求,对其分析,这个过程如果使用抓包软件配合进行,则会变得更加轻松。

Fiddler的基本原理

  在下图可以看出,如果没有Fiddler,本地应用如果要与服务器进行通信,可以直接向服务器发送Request请求,待服务器处理之后将处理结果返回本地,本地应用接收响应response。

  如果有Fiddler,本地应用与服务器之间所有的Request和Response都将经过Fiddler,由Fiddler进行转发,可以看出,此时Fiddler以代理服务器的方式存在。由于所有的网络数据都会经过Fiddler,自然Fiddler能够截获这些数据,实现网路数据的抓包。

爬虫笔记(十)——学会使用Fiddler_第1张图片

Fiddler的基本界面

 在下图中,(1)处指位置为Fiddler的菜单栏,(2)处所指位置为Fiddler的工具栏,(3)处所指为Fiddler的会话列表,我们本地应用与互联网通信的会话信息在此显示,(4)处所指位置是Fiddler的QuickExec命令输入窗口,在此我们可以输入一些Fiddler指令来快速实现某项功能。

爬虫笔记(十)——学会使用Fiddler_第2张图片

Fiddler捕获会话功能

 安装完Fiddler后,我们就学习如何使用它捕获浏览器与服务器之间的会话信息。在此以Firefox火狐浏览器为例,让火狐浏览器使用Fiddler作为其代理服务器。设置火狐浏览器的方法如下:

首先点击火狐浏览器的设置,在点击高级,在“高级”中将标签切换成“网络”。

爬虫笔记(十)——学会使用Fiddler_第3张图片

爬虫笔记(十)——学会使用Fiddler_第4张图片

随后在“网络”下方看到“连接”字样“,我们单击”连接“右方的设置,单击后选择”手动配置代理“,并将”HTTP代理“设置为”127.0.0.1“,端口设置为”8888“,因为Fiddler监控的地址是127.0.0.1:8888。设置好之后,点击“确定”。

爬虫笔记(十)——学会使用Fiddler_第5张图片

现在的网站有的使用HTTTP协议,有的使用的是HTTPS协议,如果想让Fiddler能够捕获他们,还需要设置下Fiddler。打开Fiddler,然后单击“Tools”,选择“Fiddler Options”,随后在弹出的界面中选择“HTTPS”标签,将下方选项全部勾选上,配置好之后,现在的Fiddler就能捕获火狐浏览器与服务器之间的HTTTP和HTTPS会话信息了。

爬虫笔记(十)——学会使用Fiddler_第6张图片

任意打开一个网址可以看到一下界面,此时的标签是“Statistics”,显示的是一些页面统计信息。

爬虫笔记(十)——学会使用Fiddler_第7张图片

将标签切换为“Inspectors”,显示的是一些嗅探信息,并且该标签下有很多子标签,比如“Headers”,子标签表示的网页是一些头信息。

爬虫笔记(十)——学会使用Fiddler_第8张图片

使用QuickExec命令行

在Fiddler中我们可以使用命令快速完成一些功能。在Fiddler界面中,会话列表下方有一个输入小框,在此介绍一些常见的Fiddler命令。

1. cls

cls是清屏命令,输入该命令可以清空会话列表的所有会话。有时侯,由于传递的数据增多,在Fiddler会话列表中会出现大量的会话信息,此时界面相对来说较为杂乱,所以可以输入该指令清空会话信息列表。

爬虫笔记(十)——学会使用Fiddler_第9张图片

爬虫笔记(十)——学会使用Fiddler_第10张图片

2. select

通过select命令我们可以选择出某一类型HTTP会话功能,比如想选择出所有的html网页类型的HTTP会话,可以输入命令:select html ,输入命令后回车可以发现。会话列表中所有html类型的会话都已被选中。

爬虫笔记(十)——学会使用Fiddler_第11张图片

如果想选出所有图片类型的会话信息,可以输入命令: select image

3. ?

?命令可以查找出网址中包含某些字符的会话信息,比如“?pic”可以查找出网址中包含“pic”字符串的会话信息。

爬虫笔记(十)——学会使用Fiddler_第12张图片

4.  help命令

help命令可以打开Fiddler官方的使用手册。

转载于:https://www.cnblogs.com/longwhite/p/10397758.html

你可能感兴趣的:(爬虫笔记(十)——学会使用Fiddler)