CURL编程下载文件和直接在浏览器中下载区别

目录:
一 抓包使用方法
二 抓包结果
三 分析差异

一 抓包使用方法

curl编程下载方式:

tcpdump抓包,通过windows下的wireshark分析:

root@SSL6-DEV64-011:~/curltest# tcpdump host 192.168.211.128 and 192.168.109.107 -w curldownload.cap
tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes

浏览器下载方式:

直接在wireshark抓包分析,捕获过滤器设置为:src or dst host 192.168.109.107(意思是抓取所有以192.168.109.107位源地址或目的地址的协议包)

二 抓包结果

curl编程下载方式:

CURL编程下载文件和直接在浏览器中下载区别_第1张图片
图1.1:curl_download.PNG

http包信息:

CURL编程下载文件和直接在浏览器中下载区别_第2张图片
图1.2:curl.Frame4.PNG
CURL编程下载文件和直接在浏览器中下载区别_第3张图片
图1.3:curl.IP.PNG
CURL编程下载文件和直接在浏览器中下载区别_第4张图片
图1.4:curl.TCP.PNG
图1.5:curl.htp.PNG

浏览器下载方式:

CURL编程下载文件和直接在浏览器中下载区别_第5张图片
图2.1:browser_download.PNG
CURL编程下载文件和直接在浏览器中下载区别_第6张图片
图2.2:browser.Frame4.PNG
CURL编程下载文件和直接在浏览器中下载区别_第7张图片
图2.3:browser.IP.PNG
CURL编程下载文件和直接在浏览器中下载区别_第8张图片
图2.4:browser.TCP.PNG
CURL编程下载文件和直接在浏览器中下载区别_第9张图片
图2.5:browser.htp.PNG

三 分析差异

1.

由图1.1和图2.1做对比总体直观的感受是

2.Frame 帧分析:

由图1.2和图2.2做对比,可以发现差异如图3.2红框部分:

CURL编程下载文件和直接在浏览器中下载区别_第10张图片
图3.2:Frame对比.png
Frame总览:

浏览器每帧抓获字节等于传送字节数:740字节;共有77帧。
curl编程每帧抓获字节数等于传送字节数:237字节;共有108帧。

Time时间部分:

0)Arrival Time(到达时间):......;
1)Time shift for this packet(数据包时移):该部分值均为0.000000000 seconds,无法做出对比;
2)Epoch Time(信息出现时间):我理解为到达时间;
3)Time delta from previous captured frame(与之前捕获的数据帧时间差):0.000178000 seconds(浏览器) < 0.000284000 seconds(curl编程)
4)Time delta from previous displayed frame(与之前显示的帧时间差):0.000178000 seconds(浏览器) < 0.000284000 seconds(curl编程)
5)Time since reference or first frame(距参考帧或第一帧的时间差):0.000937000 seconds(浏览器) < 0.001886000 seconds(curl编程)

通过以上时间分析,可以看出该帧浏览器的时间用的较少0.000106000 seconds*2。那么最后的结果是不是浏览器用时最少呢?当我转到最后一帧(浏览器第77帧,curl编程第108帧)查看的时候,发现第5)项:

5.221011000 seconds(浏览器) > 0.014484000 seconds(curl编程)

最终的结果是curl编程用时最少,但这和我们前面的预想大相径庭,所以我向上查看,最后在浏览器抓包的第74帧发现了异常,异常描述如下:

第73帧:0.010351000 seconds(浏览器)
第74帧:5.013174000 seconds(浏览器)

鉴于此处出现异常,而我目前的知识积累不够,无法做出解释和猜想,因此我以浏览器抓包的第72帧和curl编程的第103帧做对比,根据是这两帧都是两种方式获得的包里最后一个http Protocol Frame(http协议帧),这表示http数据传输的完成,后面的帧用于结束tcp协议:

0.010336000 seconds(浏览器) < 0.013262000 seconds(curl编程)

当然,这里只是下载小文件(80.4kb),暂时未做大文件测试。

3.Internet Protocol Version 4(IPv4协议)分析

既然是差异分析,我就不对所以项一一介绍,差异如图3.3红框部分:


CURL编程下载文件和直接在浏览器中下载区别_第11张图片
图3.3:IP对比.png

Total Length:726 kb(浏览器) > 223 kb(curl编程)

自己的理解:浏览器对于IPv4设置更多的信息

Time to live(TTL生存时间): 128次(浏览器) > 64次(curl编程)

TTL通常表示包在被丢弃前最多能经过的路由器个数,当数据包传输到一个路由器之后,TTL就自动减1,如果减到0了还没有传送到目标主机,那么就自动丢失。浏览器的包的容错率更高。

4.Transmission Control Protocol(TCP协议)信息分析

5. Hypertext Transfer Protocol(超文本传输协议)分析

由图1.5和图2.5做对比可以发现差异如下红框部分:

CURL编程下载文件和直接在浏览器中下载区别_第12张图片
图3.5:HTP对比.png

1)Connection:将keep-alive作为连接标记使用,应用程序在收到带有Connection首部的HTTP/1.1报文后,对列表进行解析,并删除报文中所有在Connection首部出现过的首部。
2)Accept:客户端用Accept首部来通知服务器自己可以接受哪些媒体类型,这样浏览器不会下载它无法使用的对象类型;
3)Referer:在客户端请求中插入Referer首部,可以使服务器知道客户端是从哪里获得其请求的URL(私以为这个是方便服务器管理者追踪的);
4)Accept-Encoding:客户端用Accept-Encoding首部来告知服务器它可以接受哪些编码方式;
5)Accept-Language:通知服务器可接受或优选哪些语言。

通过以上对比我发现,Hypertext Transfer Protocol部分由于我使用curl编程并没有进行过多设置,因此该部分请求中没有过多信息;而浏览器则在此做了很多优化,包括连接标记、以及通知服务器自己可接受的语言编码方式和类型。至于两者哪一个下载速度更快,我暂时还没有做测试,有待解决(猜测虽然浏览器进行优化的目的一方面为了方便数据管理,另一方面由于设置了连接标记——keep-alive持久连接,大文件的下载速度会快)。

你可能感兴趣的:(CURL编程下载文件和直接在浏览器中下载区别)