memcached模块的配置主要是pass_proxy关键字,其相关处理函数是ngx_http_memcached_pass,其中处理流程包括建立upstream对应的数据结构等,但最重要的是下面这句 :
clcf->handler = ngx_http_memcached_handler;
ngx_http_memcached_handler;回调函数被注册到了请求包处理11个阶段的content phase阶段,在该阶段会去调用该处理函数。
那么在该处理函数中又做了什么呢,从代码上看主要是初始化upstream机制所用的各个数据结构,设置upstream机制所调用的各个回调函数,为与上游的memcached服务器做连接做好准备。具体代码解析如下:
static ngx_int_t ngx_http_memcached_handler(ngx_http_request_t *r) { ngx_int_t rc; ngx_http_upstream_t *u; ngx_http_memcached_ctx_t *ctx; ngx_http_memcached_loc_conf_t *mlcf; if (!(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD))) { return NGX_HTTP_NOT_ALLOWED; } //丢弃请求包体,对请求包体并不关心 rc = ngx_http_discard_request_body(r); if (rc != NGX_OK) { return rc; } if (ngx_http_set_content_type(r) != NGX_OK) { return NGX_HTTP_INTERNAL_SERVER_ERROR; } //创建upstream数据结构 if (ngx_http_upstream_create(r) != NGX_OK) { return NGX_HTTP_INTERNAL_SERVER_ERROR; } u = r->upstream; ngx_str_set(&u->schema, "memcached://"); u->output.tag = (ngx_buf_tag_t) &ngx_http_memcached_module; mlcf = ngx_http_get_module_loc_conf(r, ngx_http_memcached_module); u->conf = &mlcf->upstream; //下面是设置upstream使用到的各个回调函数 //该回调函数创建了相关的get请求,该get请求将发往上游服务器 u->create_request = ngx_http_memcached_create_request; u->reinit_request = ngx_http_memcached_reinit_request; //处理memcache服务器回传的回应报文头,计算其头部,计算回应报文 //数据长度 u->process_header = ngx_http_memcached_process_header; u->abort_request = ngx_http_memcached_abort_request; u->finalize_request = ngx_http_memcached_finalize_request; ctx = ngx_palloc(r->pool, sizeof(ngx_http_memcached_ctx_t)); if (ctx == NULL) { return NGX_HTTP_INTERNAL_SERVER_ERROR; } //ctx->rest的初始化在这里,该rest使用的场景是在一次接收中, //已经接收到了\r\nEND\r\n的一部分,但未接收完全,用来记录 //剩下尚未接收的部分 ctx->rest = NGX_HTTP_MEMCACHED_END; ctx->request = r; ngx_http_set_ctx(r, ctx, ngx_http_memcached_module); u->input_filter_init = ngx_http_memcached_filter_init; //该函数用来处理响应包体,把包体buf挂入request的out链表上 u->input_filter = ngx_http_memcached_filter; u->input_filter_ctx = ctx; r->main->count++; //发起对上游memcached服务器的连接 ngx_http_upstream_init(r); return NGX_DONE; }
1ngx_http_memcached_create_request: 该函数主要是构建发往memcached服务器的报文,报文格式: GET URI \r\n static ngx_int_t ngx_http_memcached_create_request(ngx_http_request_t *r) { size_t len; uintptr_t escape; ngx_buf_t *b; ngx_chain_t *cl; ngx_http_memcached_ctx_t *ctx; ngx_http_variable_value_t *vv; ngx_http_memcached_loc_conf_t *mlcf; mlcf = ngx_http_get_module_loc_conf(r, ngx_http_memcached_module); vv = ngx_http_get_indexed_variable(r, mlcf->index); if (vv == NULL || vv->not_found || vv->len == 0) { return NGX_ERROR; } escape = 2 * ngx_escape_uri(NULL, vv->data, vv->len, NGX_ESCAPE_MEMCACHED); //计算发给memcached服务器的请求的报文长度 len = sizeof("get ") - 1 + vv->len + escape + sizeof(CRLF) - 1; //分配相关buf,chain,用来将数据报文写入到里面 b = ngx_create_temp_buf(r->pool, len); if (b == NULL) { return NGX_ERROR; } cl = ngx_alloc_chain_link(r->pool); if (cl == NULL) { return NGX_ERROR; } cl->buf = b; cl->next = NULL; r->upstream->request_bufs = cl; //写入get 关键字 *b->last++ = 'g'; *b->last++ = 'e'; *b->last++ = 't'; *b->last++ = ' '; ctx = ngx_http_get_module_ctx(r, ngx_http_memcached_module); ctx->key.data = b->last; //写入url if (escape == 0) { b->last = ngx_copy(b->last, vv->data, vv->len); } else { b->last = (u_char *) ngx_escape_uri(b->last, vv->data, vv->len, NGX_ESCAPE_MEMCACHED); } ctx->key.len = b->last - ctx->key.data; //设置报文结束标志\r\n *b->last++ = CR; *b->last++ = LF; return NGX_OK; } 2 ngx_http_memcached_process_header static ngx_int_t ngx_http_memcached_process_header(ngx_http_request_t *r) { u_char *p, *len; ngx_str_t line; ngx_http_upstream_t *u; ngx_http_memcached_ctx_t *ctx; u = r->upstream; for (p = u->buffer.pos; p < u->buffer.last; p++) { if (*p == LF) { goto found; } } return NGX_AGAIN; found: *p = '\0'; line.len = p - u->buffer.pos - 1; line.data = u->buffer.pos; p = u->buffer.pos; ctx = ngx_http_get_module_ctx(r, ngx_http_memcached_module); //报文头返回VALUE关键字,表明memcached服务器中有相关数据内容 if (ngx_strncmp(p, "VALUE ", sizeof("VALUE ") - 1) == 0) { p += sizeof("VALUE ") - 1; if (ngx_strncmp(p, ctx->key.data, ctx->key.len) != 0) { return NGX_HTTP_UPSTREAM_INVALID_HEADER; } p += ctx->key.len; if (*p++ != ' ') { goto no_valid; } /* skip flags */ while (*p) { if (*p++ == ' ') { goto length; } } goto no_valid; length: len = p; while (*p && *p++ != CR) { /* void */ } //计算出相应报文的长度 r->headers_out.content_length_n = ngx_atoof(len, p - len - 1); if (r->headers_out.content_length_n == -1) { return NGX_HTTP_UPSTREAM_INVALID_HEADER; } u->headers_in.status_n = 200; u->state->status = 200; u->buffer.pos = p + 1; return NGX_OK; } //当返回END\x0d时,表明memcached服务器中没有该内容 if (ngx_strcmp(p, "END\x0d") == 0) { u->headers_in.status_n = 404; u->state->status = 404; return NGX_OK; } no_valid: return NGX_HTTP_UPSTREAM_INVALID_HEADER; } 3 ngx_http_memcached_filter static ngx_int_t ngx_http_memcached_filter(void *data, ssize_t bytes) { ngx_http_memcached_ctx_t *ctx = data; u_char *last; ngx_buf_t *b; ngx_chain_t *cl, **ll; ngx_http_upstream_t *u; u = ctx->request->upstream; b = &u->buffer; //该分支意味着有部分的ngx_http_memcached_end在上次尚未接收 //完毕,在此次进行接收 if (u->length == ctx->rest) { if (ngx_strncmp(b->last, ngx_http_memcached_end + NGX_HTTP_MEMCACHED_END - ctx->rest, bytes) != 0) { u->length = 0; ctx->rest = 0; return NGX_OK; } u->length -= bytes; ctx->rest -= bytes; return NGX_OK; } for (cl = u->out_bufs, ll = &u->out_bufs; cl; cl = cl->next) { ll = &cl->next; } cl = ngx_chain_get_free_buf(ctx->request->pool, &u->free_bufs); if (cl == NULL) { return NGX_ERROR; } cl->buf->flush = 1; cl->buf->memory = 1; *ll = cl; //b是upstream当前用来接收数据的buf. last = b->last; //数据的起始位置为b->last的地址 cl->buf->pos = last; //重新设定b->last的值,以用来接收后续数据时使用 b->last += bytes; cl->buf->last = b->last; cl->buf->tag = u->output.tag; //在这里应该是没有接收完毕相关数据 if (bytes <= (ssize_t) (u->length - NGX_HTTP_MEMCACHED_END)) { u->length -= bytes; return NGX_OK; } //找到\r\nEND\r\n的起始位置 last += u->length - NGX_HTTP_MEMCACHED_END; //比较一下接收到的数据是否结尾 if (ngx_strncmp(last, ngx_http_memcached_end, b->last - last) != 0) { ngx_log_error(NGX_LOG_ERR, ctx->request->connection->log, 0, "memcached sent invalid trailer"); } //到此应该表示数据已经接收完毕,当然有可能有部分 //ngx_http_memcached_end数据尚未接收完毕 //ctx->rest里面记录了尚未被接收完全数据,进行调整 ctx->rest -= b->last - last; //重新更新一下下次接收数据用到的地址,这也表示结束 //符不用传递到下游客户端 b->last = last; cl->buf->last = last; u->length = ctx->rest; return NGX_OK; }在memcached命中的情况下,上面三个函数基本就可以搞定一切了,但,但,但是当服务器返回了END\x0d字符串时,表明memcached服务器中并没有该内容,看相关代码,nginx打算返回404错误了。这时候一般会使用error_page将其进行重定向,定向到真正的服务器的真正资源上面。这些工作是在ngx_http_upstream_finalize_request函数中去做的,该函数比较复杂,处理的情况很多。以404重定向为例,其函数调用顺序是: