作者:[email protected],转载请注明作者
skynet的http相关的代码中有一个叫internal.lua的文件,这个文件的功能是读取http头部,解析http头部。还有一个功能是读取chunk方式传输的消息体。
http协议有三部分,这三部分是这样组织的:
start-line \r\n
http-head \r\n
http-body
start-line就是HTTP 版本号那一行
http-head的格式是
key:value \r\n
key:value \r\n
这个大家可以直接在浏览器开发者工具里看到。
http-head和http-body之间是用\r\n分隔的。\r\n就是回车换行。
而http-body的组织形式就要看具体情况了。在传比较大的数据块的时候,有可能会使用chunked这种编码方式。它是在http头部,使用transfer-coding来指定的。下面是chunk的格式定义说明。
Chunked-Body = *chunk
last-chunk
trailer
CRLF
chunk = chunk-size [ chunk-extension ] CRLF
chunk-data CRLF
chunk-size = 1*HEX
last-chunk = 1*("0") [ chunk-extension ] CRLF
chunk-extension= *( ";" chunk-ext-name [ "=" chunk-ext-val ] )
chunk-ext-name = token
chunk-ext-val = token | quoted-string
chunk-data = chunk-size(OCTET)
第个chunk由chunk-size和chunk-data组成。chunk-size和chunk-data间用\r\n分隔。而比较坑的是,chunk部分可以带chunk-extension,这个东西格式和http头一样。
有了这些准备以后,下面的代码就不再难理解。
local table = table
local type = type
local M = {}
local LIMIT = 8192
--取chunk大小
--每个chunk后都带有\r\n
local function chunksize(readbytes, body)
while true do
local f,e = body:find("\r\n",1,true)
if f then
return tonumber(body:sub(1,f-1),16), body:sub(e+1)
end
if #body > 128 then --防止炸弹,这个数字有点小
-- pervent the attacker send very long stream without \r\n
return
end
body = body .. readbytes()
end
end
--过滤\r\n
local function readcrln(readbytes, body)
if #body >= 2 then
if body:sub(1,2) ~= "\r\n" then
return
end
return body:sub(3)
else
body = body .. readbytes(2-#body)
if body ~= "\r\n" then
return
end
return ""
end
end
--取消息头
--参数readbytes是个函数
--lines用来存消息头
--header实际上是socket读到的数据块
function M.recvheader(readbytes, lines, header)
if #header >= 2 then
if header:find "^\r\n" then --如果是以\r\n开头,丢掉\r\n
return header:sub(3)
end
end
local result
--以\r\n\r\n结尾
local e = header:find("\r\n\r\n", 1, true)
if e then
--消息头取出来,带上\r\n\r\n
result = header:sub(e+4)
else --如果找不到\r\n\r\n,证明消息头没有读完
while true do
local bytes = readbytes() --继续读数据
header = header .. bytes
if #header > LIMIT then --如果消息头超大
return
end
--从最新读取的数据里找\r\n\r\n
e = header:find("\r\n\r\n", -#bytes-3, true)
if e then
result = header:sub(e+4) --取出head
break
end
if header:find "^\r\n" then --如果是以\r\n开头,丢掉\r\n
return header:sub(3)
end
end
end
--取消息头,消息头是一行一行的,以\r\n结尾
for v in header:gmatch("(.-)\r\n") do
if v == "" then
break
end
table.insert(lines, v) --取一个消息头就放进lines表格中
end
return result
end
--解析消息头
--lines是key:value的字符串,key在http中称为field name
--header是个表格,用于设置key/value
--from是开始位置,从lines哪一个地方开始
function M.parseheader(lines, from, header)
local name, value
for i=from,#lines do
local line = lines[i]
if line:byte(1) == 9 then -- tab, append last line
if name == nil then
return
end
header[name] = header[name] .. line:sub(2)
else
--把key:value解析出来
name, value = line:match "^(.-):%s*(.*)"
if name == nil or value == nil then
return
end
--把key全转为小写,field_name是大小写不敏感的
name = name:lower()
if header[name] then
local v = header[name]
if type(v) == "table" then
table.insert(v, value)
else
header[name] = { v , value } --把value赋进去
end
else
header[name] = value
end
end
end
return header
end
--读取chunk消息体
--chunk size\r\n
--chunk data\r\n
function M.recvchunkedbody(readbytes, bodylimit, header, body)
local result = ""
local size = 0
while true do
local sz
sz , body = chunksize(readbytes, body)
if not sz then --chunk不合法
return
end
if sz == 0 then --chunk合法,但是是空的
break
end
size = size + sz --每个chunk长度累加
if bodylimit and size > bodylimit then --chunk总长度超长
return
end
if #body >= sz then --数据分割
result = result .. body:sub(1,sz)
body = body:sub(sz+1)
else
result = result .. body .. readbytes(sz - #body)
body = ""
end
body = readcrln(readbytes, body) --移除\r\n
if not body then
return
end
end
--chunk可以带entity头
local tmpline = {}
body = M.recvheader(readbytes, tmpline, body)
if not body then
return
end
header = M.parseheader(tmpline,1,header)
return result, header
end
return M