nginx+lua学习——记一次静态文件下载流程打点

nginx的 lua支持

一、nginx执行步骤

nginx在处理每一个用户请求时，都是按照若干个不同的阶段依次处理的

1. post-read
   读取请求内容阶段，nginx读取并解析完请求头之后就立即开始运行；

2. server-rewrite
   server请求地址重写阶段；

3. find-config
   配置查找阶段，用来完成当前请求与location配重块之间的配对工作；

4. rewrite
   location请求地址重写阶段，当ngx_rewrite指令用于location中，就是再这个阶段运行的；

5. post-rewrite
   请求地址重写提交阶段，当nginx完成rewrite阶段所要求的内部跳转动作，如果rewrite阶段有这个要求的话；

6. preaccess
   访问权限检查准备阶段，ngx_limit_req和ngx_limit_zone在这个阶段运行，ngx_limit_req可以控制请求的访问频率，ngx_limit_zone可以控制访问的并发度；

7. access
   权限检查阶段，ngx_access在这个阶段运行，配置指令多是执行访问控制相关的任务，如检查用户的访问权限，检查用户的来源IP是否合法；

8. post-access
   访问权限检查提交阶段；

9. try-files
   配置项try_files处理阶段；

10. content
    内容产生阶段，是所有请求处理阶段中最为重要的阶段，因为这个阶段的指令通常是用来生成HTTP响应内容的；

11. log
    日志模块处理阶段；

nginx_lua的常用模块

在openwrt上我们一般利用nginx_lua的以下几个功能

1. set_by_lua：主要做一些参数配置时使用
2. header_filter_by_lua：头部请求信息的预处理
3. access_by_lua_file：对应上面的第7阶段，我们可以在这里对业务请求信息做一些处理
4. content_by_lua_file：对应上面的第10阶段
5. log_by_lua_file：对应上面的第11阶段，在content_by_lua_file之后运行。

业务需求：本地文件下载打点（开始——结束）

1. 需求分析：
   1. 路由器上放置一个静态文件，记录客户端下载这个文件的下载开始和下载结束的过程。
   2. 静态文件路由器端是放在location中登记的：
   3. 静态文件的下载，由于http响应内就是文件，所以content_by_lua_file就不需要了。
   4. 下载请求的记录，我们可以在content_by_lua_file中获取。
   5. 下载最终返回数据的记录，我们可以在log_by_lua_file中获取。
2. nginx配置：

    location ~* .(apk)$ {
        root  /tmp/loadapp;
        add_header Content-Disposition attachment;
        access_by_lua_file /system/nginx/lua/access_apk.lua;
        log_by_lua_file /system/nginx/lua/log_apk.lua;
    }

3. 遇到的大问题：如何解决断点续传的打点。
   1. 断点续传的大致原理：
      1. 客户端向服务端并行发送多个http请求，http请求header中，会有一个range参数，range中包含了需要的文件片
      2. 服务端根据range信息取得响应的片返回给客户端；
      3. 客户端最终整合所有的文件片为一个文件。
   2. 断点续传是多请求多响应的，且下载是否完成是客户端确认的，因此断点续传下，路由器是无法准确知晓下载完毕的。因此，如果需要对单个文件下载过程打点，就必须禁止断点续传。

3. 如何针对单个文件禁止断点续传

1. 我们得知nginx的服务端断点续传功能支持是在ngx_http_range_filter_module中的

static ngx_int_t
ngx_http_range_header_filter(ngx_http_request_t *r)
{
    time_t                        if_range;
    ngx_int_t                     rc;
    ngx_http_range_filter_ctx_t  *ctx;

    if (r->http_version < NGX_HTTP_VERSION_10
        || r->headers_out.status != NGX_HTTP_OK
        || r != r->main
        || r->headers_out.content_length_n == -1
        || !r->allow_ranges)
    {
        return ngx_http_next_header_filter(r);
    }
}

2. 因此我们只需要在nginx收到http请求的时候，r->allow_ranges=0即可
3. 于是我们在nginx_lua模块的ngx_http_lua_req_method.c中，封装了set_ranges和get_ranges两个模块

static int
ngx_http_lua_ngx_req_set_ranges(lua_State * L)
{
    ngx_http_request_t               *r;
    int range = luaL_checkinteger(L, 1);
    r = ngx_http_lua_get_req(L);
    if (r == NULL) {
        return luaL_error(L, "no request object found");
    }
    r->allow_ranges = range;
    return 1;
}


static int
ngx_http_lua_ngx_req_get_ranges(lua_State *L)
{
    ngx_http_request_t      *r;
    r = ngx_http_lua_get_req(L);
    if (r == NULL) {
        return luaL_error(L, "request object not found");
    }
    lua_pushinteger(L, r->allow_ranges);
    return 1;
}

4. 当收到http请求时，执行set_ranges(0)

ngx.req.set_ranges(0)

5. 我们在nginx端实现了对请求的range的拦截，但依然无法控制客户端发出多个请求，因此nginx还是收到了多个http请求。不过对nginx而言，这么多的请求中只有一个是返回给了具体的文件数据。因此我们只要找到这一对特殊的请求/响应即可。通过对tcpdump的分析，我们发现这个的请求的特征如下

local h1 = ngx.req.get_headers();
local range = h1["Range"];
local accept_encoding = h1["Accept_Encoding"];
if range == nil and accept_encoding == "identity" then