HTTP Response中的Chunked编码

HTTP Response中的Chunked编码

zeal 2005-07-28 11:37 于 开发/理论 , 1677 字 |   +  0  -  0    English

Made In Zeal 转载请保留原始链接： http://www.zeali.net/entry/129

有时候，Web服务器生成HTTP Response是无法在Header就确定消息大小的，这时一般来说服务器将不会提供Content-Length的头信息，而采用Chunked编码动态的提供body内容的长度。

进行Chunked编码传输的HTTP Response会在消息头部设置：

Transfer-Encoding: chunked

表示Content Body将用Chunked编码传输内容。

Chunked编码使用若干个Chunk串连而成，由一个标明长度为0的chunk标示结束。每个Chunk分为头部和正文两部分，头部内容指定下一段正文的字符总数（十六进制的数字）和数量单位（一般不写），正文部分就是指定长度的实际内容，两部分之间用回车换行(CRLF)隔开。在最后一个长度为0的Chunk中的内容是称为footer的内容，是一些附加的Header信息（通常可以直接忽略）。具体的Chunk编码格式如下：

　　Chunked-Body = *chunk
　　　　　　　　　"0" CRLF
　　　　　　　　　footer
　　　　　　　　　CRLF 
　　chunk = chunk-size [ chunk-ext ] CRLF
　　　　　　 chunk-data CRLF

　　hex-no-zero = <HEX excluding "0">

　　chunk-size = hex-no-zero *HEX
　　chunk-ext = *( ";" chunk-ext-name [ "=" chunk-ext-value ] )
　　chunk-ext-name = token
　　chunk-ext-val = token | quoted-string
　　chunk-data = chunk-size(OCTET)

　　footer = *entity-header

RFC文档中的Chunked解码过程如下：
　　length := 0
　　read chunk-size, chunk-ext (if any) and CRLF
　　while (chunk-size > 0) {
　　read chunk-data and CRLF
　　append chunk-data to entity-body
　　length := length + chunk-size
　　read chunk-size and CRLF
　　}
　　read entity-header
　　while (entity-header not empty) {
　　append entity-header to existing header fields
　　read entity-header
　　}
　　Content-Length := length
　　Remove "chunked" from Transfer-Encoding

最后提供一段PHP版本的chunked解码代码：

$chunk_size = (integer)hexdec(fgets( $socket_fd, 4096 ) );
while(!feof($socket_fd) && $chunk_size > 0) {
    $bodyContent .= fread( $socket_fd, $chunk_size );
    fread( $socket_fd, 2 ); // skip \r\n
    $chunk_size = (integer)hexdec(fgets( $socket_fd, 4096 ) );
}

另外转载一篇：使用HTTP Transfer-Encoding�矶惚�IDS 
作者
=============================================================
�R昌翰 [email protected]
本文件可自由�D�d於各�N媒�w

本文
=============================================================


已知技�g
1)在IP�涌梢允褂�IP Fragment�⒑�有�阂獬淌街�封包切割�槎��封包
,以避免被
Network IDS抓到Pattern
2)在TCP也可以��⒑�有�阂獬淌街�TCP�B�切成多��TCP Segments,以
避免被
Network IDS抓到Pattern
3)HTTP 1.1�e支援zlib/gzip等�嚎s,可以�⒂�阂獬淌�(通常�楹�有
Java Script/
VB Script 之HTML�n)�嚎s而不被�l�F

以1,2�碚f,目前的Snort IDS有IP Fragement�cTCP 重�M的弁
但是,在前一�子的survey中,我�l�FHTTP 1.1�e除了支源zlib/gzip等
�嚎s,HTTP/1.1
�e�支援了Transfer-Encoding 可以在�鬏��r加上�似unix�esplit
能,�⒁环菀�
�魉偷�message切割成多份

zlib�cgzip等Content-Encoding�cTransfer-Encoding不同�在於:
Content-Encoding
��ξ募�本身加密,HTTP/1.1�鬏�只用Content-Encoding的header�f明
文件的�嚎s格式,
�K�]有必要要�理.但是Transfer-Encoding�樵�Content-Encoding之
外,再另加的
Encoding.

HTTP response分�槿�部份, HTTP_RESPONSE_LINE,
HTTP_MESSAGE_HEADER�c
HTTP_MESSAGE_BODY

�例:
其中��Content-Type到Content-Length��HTTP_MESSAGE_HEADER,之後
��
HTTP_MESSAGE_BODY

========不加Transfer-Encoding之HTTP response
HTTP/1.1 200 OK
Content-Type: text/html
Host: http://www.csie.nctu.edu.tw
Content-Length: 25

hello world
========

若在HTTP_MESSAGE_HEADER中有Transfer-Encoding: chunked 字��,�t
HTTP_MESSAGE_BODY
��用chunked的encoding方式�魉�.目前chunked encoding是HTTP/1.1
明定要支援的. 如下
面的http response即�榧由�chunked Transfer-Encoding之�Y果. 本
�碛�25��bytes�F在被
分割��0x6, 0xb,0x7等三��部份. 在chunked Transfer-Encoding是��
用十六�M位�肀硎�,
�cContent-Length�裼�10�M位�K不同

========外加Transfer-Encoding之HTTP response
HTTP/1.1 200 OK
Content-Type: text/html
Host: http://www.csie.nctu.edu.tw
Transfer-Encoding: chunked

6

b
hello world
7

0