http 协议分析

http协议原理

      WWW是以Internet作为传输媒介的一个应用系统，WWW网上最基本的传输单位是Web网页。WWW的工作基于客户机/服务器计算模型，由Web 浏览器(客户机)和Web服务器(服务器)构成，两者之间采用超文本传送协议（HTTP）进行通信。HTTP协议是基于TCP/IP协议之上的协议，是Web浏览器和Web服务器之间的应用层协议，是通用的、无状态的、面向对象的协议。
 
HTTP协议的作用原理包括四个步骤：　　
(1) 连接：Web浏览器与Web服务器建立连接，打开一个称为socket（套接字）的虚拟文件，此文件的建立标志着连接建立成功。　　
 
(2) 请求：Web浏览器通过socket向Web服务器提交请求。HTTP的请求一般是GET或POST命令（POST用于FORM参数的传递）。GET命令的格式为：　　GET 路径/文件名 HTTP/1.0　　文件名指出所访问的文件，HTTP/1.0指出Web浏览器使用的HTTP版本。　　
 
(3) 应答：Web浏览器提交请求后，通过HTTP协议传送给Web服务器。Web服务器接到后，进行事务处理，处理结果又通过HTTP传回给Web浏览器，从而在Web浏览器上显示出所请求的页面。 　　
 
例：假设客户机与 www.mycompany.com:8080/mydir/index.html建立了连接，就会发送GET命令：GET /mydir/index.html HTTP/1.0。主机名为 www.mycompany.com的Web服务器从它的文档空间中搜索子目录mydir的文件index.html。如果找到该文件，Web服务器把该文件内容传送给相应的Web浏览器。为了告知 Web浏览器传送内容的类型，Web服务器首先传送一些HTTP头信息，然后传送具体内容（即HTTP体信息），HTTP头信息和HTTP体信息之间用一个空行分开。
 
常用的HTTP头信息有：　　
① HTTP 1.0 200 OK　　这是Web服务器应答的第一行，列出服务器正在运行的HTTP版本号和应答代码。代码"200 OK"表示请求完成。　　
② MIME_Version:1.0　　它指示MIME类型的版本。　　
③ content_type:类型　　这个头信息非常重要，它指示HTTP体信息的MIME类型。如：content_type:text/html指示传送的数据是HTML文档。　　
④ content_length:长度值　　它指示HTTP体信息的长度（字节）。　　
(4) 关闭连接：当应答结束后，Web浏览器与Web服务器必须断开，以保证其它Web浏览器能够与Web服务器建立连接。
 
 
http协议分析
一、HTTP协议简述
        HTTP是一个客户端和服务器端请求和应答的标准（TCP）。客户端是终端用户，服务器端是网站。通过使用Web浏览器、网络爬虫或者其它的工具，客户端发起一个到服务器上指定端口（默认端口为80）的HTTP请求。（我们称这个客户端）叫用户代理（user agent）。应答的服务器上存储着（一些）资源，比如HTML文件和图像。（我们称）这个应答服务器为源服务器（origin server）。在用户代理和源服务器中间可能存在多个中间层，比如代理，网关，或者隧道（tunnels）。尽管TCP/IP协议是互联网上最流行的应用，HTTP协议并没有规定必须使用它和（基于）它支持的层。 事实上，HTTP可以在任何其他互联网协议上，或者在其他网络上实现。HTTP只假定（其下层协议提供）可靠的传输，任何能够提供这种保证的协议都可以被其使用。
 
二、HTTP协议通信过程
        当我们在浏览器的地址栏输入“www.baidu.com”然后按回车，这之后发生了什么事，我们直接看到的是打开了对应的网页，那么内部客户端和服务端是如何通信的呢？
 
1、URL自动解析
        HTTP URL包含了用于查找某个资源的足够信息，基本格式如下： HTTP://host[“:”port][abs_path]，其中HTTP表示桶盖HTTP协议来定位网络资源；host表示合法的主机域名或IP地址，port指定一个端口号，缺省80；abs_path指定请求资源的URI；如果URL中没有给出abs_path，那么当它作为请求URI时，必须以“/”的形式给出，通常这个工作浏览器自动帮我们完成。
例如：输入 www.163.com;浏览器会自动转换成： HTTP://www.163.com/

2、获取IP，建立TCP连接
       浏览器地址栏中输入" HTTP://www.xxx.com/"并提交之后，首先它会在DNS本地缓存表中查找，如果有则直接告诉IP地址。如果没有则要求网关DNS进行查找，如此下去，找到对应的IP后，则返回会给浏览器。
当获取IP之后，就开始与所请求的Tcp建立三次握手连接，连接建立后，就向服务器发出HTTP请求。
 
3、客户端浏览器向服务器发出HTTP请求
      一旦建立了TCP连接，Web浏览器就会向Web服务器发送请求命令，接着以头信息的形式向Web服务器发送一些别的信息，之后浏览器发送了一空白行来通知服务器，它已经结束了该头信息的发送。
 
4、Web服务器应答，并向浏览器发送数据
       客户机向服务器发出请求后，服务器会客户机回送应答，
 
HTTP/1.1 200 OK
      应答的第一部分是协议的版本号和应答状态码，正如客户端会随同请求发送关于自身的信息一样，服务器也会随同应答向用户发送关于它自己的数据及被请求的文档。
 
       Web服务器向浏览器发送头信息后，它会发送一个空白行来表示头信息的发送到此为结束，接着，它就以Content-Type应答头信息所描述的格式发送用户所请求的实际数据
 
5、Web服务器关闭TCP连接
      一般情况下，一旦Web服务器向浏览器发送了请求数据，它就要关闭TCP连接，然后如果浏览器或者服务器在其头信息加入了这行代码
 
Connection:keep-alive
         TCP连接在发送后将仍然保持打开状态，于是，浏览器可以继续通过相同的连接发送请求。保持连接节省了为每个请求建立新连接所需的时间，还节约了网络带宽。
 
三、实例分析HTTP通信
        先介绍一个工具，HTTP Analyzer ，为一款实时分析 HTTP/HTTPS 数据流的工具。它可以实时捕捉HTTP/HTTPS 协议数据，可以显示许多信息（包括：文件头、内容、Cookie、查询字符窜、提交的数据、重定向的URL地址），可以提供缓冲区信息、清理对话内容、HTTP状态信息和其他过滤选项。同时还是一个非常有用的分析、调试和诊断的开发工具。
 
下面我们访问 http://www.google.cn/ ，HTTP analyzer将抓包来分析访问浏览器和服务器通信的过程。
1、 运行HTTP Analyzer，选择菜单Action—start开始抓包；
2、 浏览器中输入  http://www.google.cn/，网页打开后，在HTTP Analyzer中选择Action—stop停止抓包；工具已经详细列出了访问的数据包信息。通过截图见到了解下抓包信息
l 抓包结果和文件头信息（下图）
 
l 一次请求的html正文内容
 
l 本次请求是否存在cookies信息
 
l 一次请求的整个数据包信息，包括头信息和正文。
 
        你会发现浏览器中只点击了一个超级链接，却发送了多个数据包。那是因为,我们请求的网页文件中有很多图片、音乐、电影等信息时，服务器返回的信息中并不直接包含图片数据，而只是保存该图片的链接，当浏览器进行解释的时候，遇到图片的url时,才向服务器发出对图片的请求信息。
.

下面我们来详细分析HTTP的请求和响应信息：
1）HTTP请求消息，当客户端和服务端建立TCP连接后，客户端就会向服务器发送一个请求信息， 如：
[1] GET / HTTP/1.1
[2] Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/x-silverlight, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */* 客户端可识别的内容类型列表。
[3] Accept-Language: zh-cn 客户端所能解释的语言：简体中文
[4] UA-CPU: x86
[5] Accept-Encoding: gzip, deflate 客户端可以解释的类型
[6] User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon; EmbeddedWB 14.52 from:  http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727; InfoPath.1; CIBA) 客户端浏览器型号
[7] Host:  http://www.google.cn/ 提交请求页面
[8] Connection: Keep-Alive TCP连接保持打开
[9]  该请求信息主要由4部分组成：
l 请求方法URI协议/版本：以上代码第[1]行“GET”表示请求方法，，“HTTP/1.1代表协议和协议的版本，HTTP请求可以使用多种请求方法，最常用的为GET和POST方法
l 请求头：[2]-[8]行，包含许多有关客户端环境和请求正文的有用信息。
l 空行 ：[9] 请求头和请求正文之间是一个空行，这个行非常重要，表示请求头已经结束，接下来是正文，这个行非常重要，它表示请求头已经结束，接下来是请求正文。
l 请求正文。请求正文中可以包含客户提交的查询字符串信息，如用户名和密码等。这里没有。
这里有一点值得说明的是:请求方法中的GET和POST方法；
 
       GET方法是默认的HTTP请求方法，我们日常用GET方法来提交表单数据，然而用GET方法提交的表单数据只经过了简单的编码，同时它将作为URL的一部分向Web服务器发送，因此，如果使用GET方法来提交表单数据就存在着安全隐患上，同时这个URL长度还有限制，不允许超过1k。
 
      POST方法是GET方法的一个替代方法，它主要是向Web服务器提交表单数据，尤其是大批量的数据。POST方法克服了GET方法的一些缺点。通过POST方法提交表单数据时，数据不是作为URL请求的一部分而是作为标准数据传送给Web服务器，这就克服了GET方法中的信息无法保密和数据量太小的缺点。因此，出于安全的考虑以及对用户隐私的尊重，通常表单提交时采用POST方法。
2）HTTP响应消息，响应跟请求类似，如：
[1]HTTP/1.1 200 OK
[2]Cache-Control: private, max-age=0
[3]Date: Fri, 27 Feb 2009 07:53:36 GMT
[4]Expires: -1
[5]Content-Type: text/html; charset=UTF-8
[6]Set-Cookie: PREF=ID=cc4a31ab6792ef2c:NW=1:TM=1235721216:LM=1235721216:S=q1hQBu-1KdamAWK-; expires=Sun, 27-Feb-2011 07:53:36 GMT; path=/; domain=.google.cn
[7]Cont
 
ent-Encoding: gzip
[8]Server: gws
[9]Transfer-Encoding: chunked
[10]
[11]ddc
该响应信息也以对应的4部分组成：
         l 协议状态描述，HTTP/1.1表示协议版本，200 OK表示服务器已经成功处理了客户端发出的请求。200表示HTTP的应答码成功。HTTP应答码由3位数字构成，其中首位数字定义了应答码的类型：
1XX－信息类(Information),表示收到Web浏览器请求，正在进一步的处理中
2XX－成功类（Successful）,表示用户请求被正确接收，理解和处理例如：200 OK
3XX-重定向类(Redirection),表示请求没有成功，客户必须采取进一步的动作。
4XX-客户端错误(Client Error)，表示客户端提交的请求有错误 例如：404 NOT Found，意味着请求中所引用的文档不存在。
5XX-服务器错误(Server Error)表示服务器不能完成对请求的处理：如 500
l 响应头：跟请求头一样，它指出服务器的功能，标识出响应数据的细节。
l 空行：也是属于响应头和响应正文之间必须存在的一个空行，表示响应头结束，接下来是响应正文
l 响应正文：也就是服务器返回的网页内容。
根据上文的描述，再结合工具实际验证一回，相信应该能对HTTP协议和其通信流程有个大致的了解。