HTTP传输大数据的方式

本文为极客时间《透视HTTP协议》笔记

---

数据压缩

请求方带着“Accept-Encoding”头字段，表示请求方所支持的压缩格式，如：gzip，deflate，br等。

应答方可以选择一种压缩算法放进“Content-Encoding”响应头里面，再把数据压缩后发给请求方。

但使用目前的数据压缩方式通常值对文本文件有较好的压缩率。

分块传输

压缩是把大文件整体变小，在传输后接收方再对文件进行解压还原。另一种方式就是将大文件拆开，分解成多个小块，分批发送，收到后进行重新组装还原。

在响应头里面用文字段“Transfer-Encoding: chunked”来表示body部分分成了许多块进行逐个发送。注意：chunk方式仍然是一个请求内发生的事情。

“Transfer-Encoding: chunked”和“Content-Length“这两个字段是互斥的.也就是说chunked 方式的长度是未知的。

分块传输的结构如下：

1.每个分块包含两个部分，长度头和数据块(其中此部分长度头为chunk当前部分的长度，这和content-length并不相同，chunked编码用在流式数据发送时，通常数据是即时生成的，故之后在处理全部后才会知道整个content-length，故在发送时候整个content-length是未知的)

2.长度头以CRLF（回车换行，即\r\n）结尾的一行明文，用16进制数字表示长度；

3.数据块紧跟在长度头后，最后也用CRLF结尾，但数据不包括CRLF；

4.最后一个长度为0的块表示结束，即”0\r\n\r\n“

chunk结构

范围请求

HTTP支持范围请求，只要用于允许请求段在请求头里面使用专用的字段只获取文件的一部分。相同于从请求方开始的”化整为零“。

范围请求不是Web服务器必备的功能，可以实现也可以不实现，所以服务器必须要在响应头中使用字段”Accept-Ranges: bytes“告诉请求方支持范围请求。若不发送或着发送的是”Accept-Ranges: none“则表示当前的web服务器不支持分段请求。

请求Range字段表示请求的范围。格式为”bytes=x-y“。

应答方收到Range字段处理流程为：

1.检查范围是否合法，若不合法则返回状态416，表示范围请求有误。

2.若范围正确服务器会返回206 Partial Content 表示这只是数据的一部分。

3.服务器要添加Content-Range字段，告诉片段的实际偏移量和资源的总大小，格式是”bytes x-y/length“

GET /16-2 HTTP/1.1

Host: www.chrono.com

Conent: bytes=0-31  请求头

context-ramgeL表示读取到了文件片段。

一般来说短续传，多段下载，都是基础分段下载实现的。

请求大概如下：

先发个 HEAD，看服务器是否支持范围请求，同时获取文件的大小。

开个N进程，每线程使用Range字段划分出各自负责的片段，分别发送请求。

下载失败只需要发送对应的未下载区域即可。

多端数据

多端数据的只要用意是使用一个请求，同时发送多个片段的请求，因为Range头里面支持使用多个”X-Y“一次性获取多个片段数据。

这种情况需要设置MIME类型为”multipart/byteranges“，并使用”boundary=xxx“给出段之间的分隔标记。

multipart

请求与响应如：

GET /16-2 HTTP/1.1

Host: www.chrono.com

Range: bytes=0-9, 20-29

HTTP/1.1 206 Partial Content

Content-Type: multipart/byteranges; boundary=00000000001

Content-Length: 189 Connection: keep-alive Accept-Ranges: bytes

--00000000001

Content-Type: text/plain

Content-Range: bytes 0-9/96

// this is

--00000000001

Content-Type: text/plain

Content-Range: bytes 20-29/96

ext json d --00000000001--