当我们首次访问服务器的页面时,通过调用chrome的"开发人员工具"可以看到如下的请求:
注:IE用户可以通过httpwatch查看,Firefox用户可以通过Firebug查看。
Request URL:http://192.168.0.42/cacti/images/shadow_gray.gif
Request Method:GET
Status Code:200 OK
Request Headers
Accept:*/*
Accept-Charset:GBK,utf-8;q=0.7,*;q=0.3
Accept-Encoding:gzip,deflate,sdch
Accept-Language:zh-CN,zh;q=0.8
Cache-Control:no-cache
Connection:keep-alive
Cookie:Cacti=cufhplpqkjrkcs4tmfabba27k2
Host:192.168.0.42
Pragma:no-cache
Referer:http://192.168.0.42/cacti/
User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.77 Safari/535.7
Response Headers
Accept-Ranges:bytes
Age:0
Connection:keep-alive
Content-Length:90
Content-Type:image/gif
Date:Thu, 02 Aug 2012 02:17:45 GMT
ETag:"e13a5-5a-4969c1974eb40"
Last-Modified:Sat, 04 Dec 2010 21:11:33 GMT
Server:Apache/2.2.20 (Unix) PHP/5.3.8
Via:1.1 varnish
X-Cache:MISS from huamaitel
X-Varnish:2130550197
客户端首次请求时的服务器端Status为200,同时有一个Last-Modified/ETag属性标记此文件在服务期端最后被修改的时间。然后刷新(即重新请求一次服务器),刷新后的结果如下:
注:刷新和直接回车不一样,直接回车读的是客户机浏览器自己缓存的内容。
Request URL:http://192.168.0.42/cacti/images/shadow_gray.gif
Request Method:GET
Status Code:304 Not Modified
Request Headers
Accept:*/*
Accept-Charset:GBK,utf-8;q=0.7,*;q=0.3
Accept-Encoding:gzip,deflate,sdch
Accept-Language:zh-CN,zh;q=0.8
Cache-Control:max-age=0
Connection:keep-alive
Cookie:Cacti=cufhplpqkjrkcs4tmfabba27k2
Host:192.168.0.42
If-Modified-Since:Sat, 04 Dec 2010 21:11:33 GMT
If-None-Match:"e13a5-5a-4969c1974eb40"
Referer:http://192.168.0.42/cacti/
User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.77 Safari/535.7
Response Headers
Accept-Ranges:bytes
Age:51
Connection:keep-alive
Content-Type:image/gif
Date:Thu, 02 Aug 2012 02:18:36 GMT
ETag:"e13a5-5a-4969c1974eb40"
Last-Modified:Sat, 04 Dec 2010 21:11:33 GMT
Server:Apache/2.2.20 (Unix) PHP/5.3.8
Via:1.1 varnish
X-Cache:HIT from huamaitel
X-Varnish:2130550212 2130550197
客户端在第二次请求URL时,浏览器会向服务器传送If-Modified-Since/If-None-Match报头,询问该时间之后文件是否有被修改过。如果服务器端的资源没有变化,则自动返回304的状态码,内容为空,这样就节省了传输数据量。当服务器端代码发生改变或者重启服务器时,则重新发出资源,返回和第一次请求时类似;从而保证不向客户端重复发出资源,也保证当服务器有变化时,客户端能够得到最新的资源。
从上面我们可以看出HTTP请求过程如下:
1、客户端请求一个页面A。
2、服务器返回页面A,并在给A加上一个Last-Modified/ETag。
3、客户端展现该页面,并将页面连同Last-Modified/ETag一起缓存。
4、客户再次请求页面A,并将上次请求时服务器返回的Last-Modified/ETag一起传递给服务器。
5、服务器检查该Last-Modified或ETag,并判断出该页面自上次客户端请求之后还未被修改,直接返回响应304和一个空的响应体。
下面贴上常用的HTTP响应代码,仅供参考:
1xx(临时响应)表示临时响应并需要请求者继续执行操作的状态码。
100(继续)请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分,正在等待其余部分。
101(切换协议)请求者已要求服务器切换协议,服务器已确认并准备切换。
2xx (成功)表示成功处理了请求的状态码。
200(成功)服务器已成功处理了请求。通常,这表示服务器提供了请求的网页。如果是对您的 robots.txt 文件显示此状态码,则表示 Googlebot 已成功检索到该文件。
201(已创建)请求成功并且服务器创建了新的资源。
202(已接受)服务器已接受请求,但尚未处理。
203(非授权信息)服务器已成功处理了请求,但返回的信息可能来自另一来源。
204(无内容)服务器成功处理了请求,但没有返回任何内容。
205(重置内容)服务器成功处理了请求,但没有返回任何内容。与 204 响应不同,此响应要求请求者重置文档视图(例如,清除表单内容以输入新内容)。
206(部分内容)服务器成功处理了部分 GET 请求。
3xx (重定向)要完成请求,需要进一步操作。通常,这些状态码用来重定向。Google建议您在每次请求中使用重定向不要超过5次。您可以使用网站管理员工具查看一下 Googlebot 在抓取重定向网页时是否遇到问题。诊断下的网络抓取页列出了由于重定向错误导致 Googlebot 无法抓取的网址。
300(多种选择)针对请求,服务器可执行多种操作。服务器可根据请求者 (user agent) 选择一项操作,或提供操作列表供请求者选择。
301(永久移动)请求的网页已永久移动到新位置。服务器返回此响应(对 GET 或 HEAD 请求的响应)时,会自动将请求者转到新位置。您应使用此代码告诉 Googlebot 某个网页或网站已永久移动到新位置。
302(临时移动)服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来响应以后的请求。此代码与响应 GET 和 HEAD 请求的 301 代码类似,会自动将请求者转到不同的位置,但您不应使用此代码来告诉 Googlebot 某个网页或网站已经移动,因为 Googlebot 会继续抓取原有位置并编制索引。
303(查看其他位置)请求者应当对不同的位置使用单独的 GET 请求来检索响应时,服务器返回此代码。对于除 HEAD 之外的所有请求,服务器会自动转到其他位置。
304(未修改)自从上次请求后,请求的网页未修改过。服务器返回此响应时,不会返回网页内容。如果网页自请求者上次请求后再也没有更改过,您应将服务器配置为返回此响应(称为 If-Modified-Since HTTP 标头)。服务器可以告诉 Googlebot 自从上次抓取后网页没有变更,进而节省带宽和开销。
305(使用代理)请求者只能使用代理访问请求的网页。如果服务器返回此响应,还表示请求者应使用代理。
307(临时重定向)服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来响应以后的请求。此代码与响应 GET 和 HEAD 请求的 <a href=answer.py?answer=>301</a> 代码类似,会自动将请求者转到不同的位置,但您不应使用此代码来告诉 Googlebot 某个页面或网站已经移动,因为 Googlebot 会继续抓取原有位置并编制索引。
4xx(请求错误)这些状态码表示请求可能出错,妨碍了服务器的处理。
400(错误请求)服务器不理解请求的语法。
401(未授权)请求要求身份验证。对于登录后请求的网页,服务器可能返回此响应。
403(禁止)服务器拒绝请求。如果您在 Googlebot 尝试抓取您网站上的有效网页时看到此状态码(您可以在 Google 网站管理员工具诊断下的网络抓取页面上看到此信息),可能是您的服务器或主机拒绝了 Googlebot 访问。
404(未找到)服务器找不到请求的网页。例如,对于服务器上不存在的网页经常会返回此代码。
405(方法禁用)禁用请求中指定的方法。
406(不接受)无法使用请求的内容特性响应请求的网页。
407(需要代理授权)此状态码与 <a href=answer.py?answer=35128>401(未授权)</a>类似,但指定请求者应当授权使用代理。如果服务器返回此响应,还表示请求者应当使用代理。
408(请求超时)服务器等候请求时发生超时。
409(冲突)服务器在完成请求时发生冲突。服务器必须在响应中包含有关冲突的信息。服务器在响应与前一个请求相冲突的 PUT 请求时可能会返回此代码,以及两个请求的差异列表。
410(已删除)如果请求的资源已永久删除,服务器就会返回此响应。该代码与 404(未找到)代码类似,但在资源以前存在而现在不存在的情况下,有时会用来替代 404 代码。如果资源已永久移动,您应使用 301 指定资源的新位置。
411(需要有效长度)服务器不接受不含有效内容长度标头字段的请求。
412(未满足前提条件)服务器未满足请求者在请求中设置的其中一个前提条件。
413(请求实体过大)服务器无法处理请求,因为请求实体过大,超出服务器的处理能力。
414(请求的 URI 过长)请求的 URI(通常为网址)过长,服务器无法处理。
415(不支持的媒体类型)请求的格式不受请求页面的支持。
416(请求范围不符合要求)如果页面无法提供请求的范围,则服务器会返回此状态码。
417(未满足期望值)服务器未满足”期望”请求标头字段的要求。
5xx(服务器错误)这些状态码表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。
500(服务器内部错误)服务器遇到错误,无法完成请求。
501(尚未实施)服务器不具备完成请求的功能。例如,服务器无法识别请求方法时可能会返回此代码。
502(错误网关)服务器作为网关或代理,从上游服务器收到无效响应。
503(服务不可用)服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。
504(网关超时)服务器作为网关或代理,但是没有及时从上游服务器收到请求。
505(HTTP 版本不受支持)服务器不支持请求中所用的 HTTP 协议版本。
下面是HTTP日志分析:
[root@wameide ~]# cat /usr/local/nginx/conf/nginx.conf
log_format main '$remote_addr - $remote_user [$time_local] $host "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
[root@wameide ~]# cut -d ' ' -f 10 /usr/local/nginx/logs/host.access_20120809.log |sort|uniq -c
757593
3901 "-"
1 0
131947 200
2333 206
7177 302
1561 304
1455 400
1 401
17 403
202 404
7 408
157 499
4848 500
106821 HTTP/1.1
28 HTTP/1.1"
[root@wameide ~]# grep ' 403 ' /usr/local/nginx/logs/host.access_20120809.log|cut -d ' ' -f 6,8|sort|uniq -c
5 api.wameide.com /
9 download.wameide.com /
1 download.wameide.com /Soft/?????????????????????.exe
2 signin.wameide.com /