nginx的log、upstream和server

nginx的log、upstream和server

一、log

    首先一个log格式化的例子。

#配置格式main的log
log_format main '$host $status [$time_local] $remote_addr [$time_local] $request_uri '

'"$http_referer" "$http_user_agent" "$http_x_forwarded_for" '

'$bytes_sent $request_time $sent_http_x_cache_hit';

#使用格式为main的log
access_log logs/access.log main;

    我们看见nginx的参数都是$xxx的形式出现，只要通过给定的参数，我们可以配置很多东西

$arg_PARAMETER  HTTP 请求中某个参数的值，
Eg:如/index.php?site=www.ttlsa.com，可以用$arg_site取得www.ttlsa.com这个值.
 
$args HTTP 请求中的完整参数。
Eg:例如，在请求/index.php?width=400&height=200 中，$args表示字符串width=400&height=200.
 
$binary_remote_addr 二进制格式的客户端地址。例如：\x0A\xE0B\x0E
 
$body_bytes_sent 表示在向客户端发送的http响应中，包体部分的字节数
 
$content_length 表示客户端请求头部中的Content-Length 字段
 
$content_type 表示客户端请求头部中的Content-Type 字段
 
$cookie_COOKIE 表示在客户端请求头部中的cookie 字段
 
$document_root 表示当前请求所使用的root 配置项的值
 
$uri 表示当前请求的URI，不带任何参数
 
$document_uri 与$uri 含义相同
$request_uri 表示客户端发来的原始请求URI，带完整的参数。$uri和$document_uri未必是用户的原始请求，在内部重定向后可能是重定向后的URI，而$request_uri 永远不会改变，始终是客户端的原始URI.
 
$host 表示客户端请求头部中的Host字段。如果Host字段不存在，则以实际处理的server（虚拟主机）名称代替。如果Host字段中带有端口，如IP:PORT，那么$host是去掉端口的，它的值为IP。$host 是全小写的。这些特性与http_HEADER中的http_host不同，http_host只取出Host头部对应的值。 
 
$hostname 表示 Nginx所在机器的名称，与 gethostbyname调用返回的值相同 
 
$http_HEADER 表示当前 HTTP请求中相应头部的值。HEADER名称全小写。例如，示请求中 Host头部对应的值 用 $http_host表 
 
$sent_http_HEADER 表示返回客户端的 HTTP响应中相应头部的值。HEADER名称全小写。例如，用 $sent_ http_content_type表示响应中 Content-Type头部对应的值 
 
$is_args 表示请求中的 URI是否带参数，如果带参数，$is_args值为 ?，如果不带参数，则是空字符串 
 
$limit_rate 表示当前连接的限速是多少，0表示无限速 
 
$nginx_version 表示当前 Nginx的版本号 
 
$query_string 请求 URI中的参数，与 $args相同，然而 $query_string是只读的不会改变 
 
$remote_addr 表示客户端的地址 
 
$remote_port 表示客户端连接使用的端口 
 
$remote_user 表示使用 Auth Basic Module时定义的用户名 
 
$request_filename 表示用户请求中的 URI经过 root或 alias转换后的文件路径 
 
$request_body 表示 HTTP请求中的包体，该参数只在 proxy_pass或 fastcgi_pass中有意义 
 
$request_body_file 表示 HTTP请求中的包体存储的临时文件名 
 
$request_completion 当请求已经全部完成时，其值为 “ok”。若没有完成，就要返回客户端，则其值为空字符串；或者在断点续传等情况下使用 HTTP range访问的并不是文件的最后一块，那么其值也是空字符串。
 
$request_method 表示 HTTP请求的方法名，如 GET、PUT、POST等 
 
$scheme 表示 HTTP scheme，如在请求 https://nginx.com/中表示 https 
 
$server_addr 表示服务器地址 
$server_name 表示服务器名称 
$server_port 表示服务器端口 
 
$server_protocol 表示服务器向客户端发送响应的协议，如 HTTP/1.1或 HTTP/1.
 
$remote_addr, $http_x_forwarded_for 记录客户端IP地址
 
$remote_user 记录客户端用户名称
 
$request 记录请求的URL和HTTP协议
 
$status 记录请求状态
 
$body_bytes_sent 发送给客户端的字节数，不包括响应头的大小； 该变量与Apache模块mod_log_config里的“%B”参数兼容。
 
$bytes_sent 发送给客户端的总字节数。
 
$connection 连接的序列号。
 
$connection_requests 当前通过一个连接获得的请求数量。
 
$msec 日志写入时间。单位为秒，精度是毫秒。
 
$pipe 如果请求是通过HTTP流水线(pipelined)发送，pipe值为“p”，否则为“.”。
 
$http_referer 记录从哪个页面链接访问过来的
 
$http_user_agent 记录客户端浏览器相关信息
 
$request_length 请求的长度（包括请求行，请求头和请求正文）。
 
$request_time 请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。
 
$time_iso8601 ISO8601标准格式下的本地时间。
 
$time_local 通用日志格式下的本地时间。

二、upstream

    一个负载均衡配额制

upstream img_relay {
    server 127.0.0.1:8027;
    server 127.0.0.1:8028;
    server 127.0.0.1:8029;
    hash $request_uri;
}

server{
    listen 80;
    server_name localhost.com,www.localhost.com
    local =\ {
        proxy_redirect off;
        proxy_pass http://img_relay/
    }
}

nginx的upstream目前支持4种方式的分配

1、轮询（默认）

每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。

upstream bakend {
    server 192.168.0.14 ;
    server 192.168.0.15 ;
}

2、weight

指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。

例如：

upstream bakend {
    server 192.168.0.14 weight=10;
    server 192.168.0.15 weight=10;
}

2、ip_hash(最常用的)

每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。

例如：

upstream bakend {
    ip_hash;
    server 192.168.0.14:88;
    server 192.168.0.15:80;
}

3、fair（第三方）

按后端服务器的响应时间来分配请求，响应时间短的优先分配。

upstream backend {
    server server1;
    server server2;
    fair;
}

4、url_hash（第三方）

按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。

例：在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法

upstream backend {
    server squid1:3128;
    server squid2:3128;
    hash $request_uri;
    hash_method crc32;
}

tips例子:

upstream bakend{
    #定义负载均衡设备的Ip及设备状态
    server 127.0.0.1:9090 down ;
    server 127.0.0.1:8080 weight=2;
    server 127.0.0.1:6060;
    server 127.0.0.1:7070 backup;
    server 127.0.0.1:7070 backup;
}

1.down            表示单前的server暂时不参与负载
2.weight          默认为1.weight越大，负载的权重就越大。
3.max_fails：     允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream模块定义的错误
4.fail_timeout:   max_fails次失败后，暂停的时间。
5.backup：      其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。

在需要使用负载均衡的server中增加

server{
    .....
    local /= {
        proxy_pass http://bakend/;
    }
}

三、server的uri格式化

    3.1 路径匹配

location 后面的uri字符串匹配，主要有下面5种方式

#格式:location [=|^~|~|~*] /uri/ {...}

# 第一种
location =/ {
    只要是uri=/直接匹配
}

# 第二种
location ^~ /nginx/ {
    匹配 uri 以/nginx/开头的。优先级小于 location = /nginx/
}

# 第三种
location ~ /nginx/ {
    匹配 uri 以nginx开始的。优先级小于 location　= /nginx/ 和 location　^~ /nginx/ 
}

# 第四种
location ~* /nginx/ {
    和 location = ~/类似，但是不区分大小写
}

    3.2 root和alias

 root：定义了网站的文件位置.可以在[http][server][location]中都设置。访问文件路径 =root+uri
 
 location = /test/ {
     root /usr/local/www/test;
 }
 
 alias:第一了一个uri的别名，访问路径= alias+uri(将location的匹配丢掉) 
  location = /test/ {
     alias /usr/local/www/test;
 }
 
 用户要访问一个文件：www.localhost/test/my/mylog
 root的文件: /usr/local/www/test/test/my/mylog
 alias的文件:/usr/local/www/test/my/mylog

    3.3 重写

        nginx的重写是依赖pcre库完成，可以将uri从一个location跳转到另外一个location。使用Nginx提供的全局变量或者自己设置的变量，结合正则表达式和标志位实现url重写以及重定向。只能对域名后除了？后传递的参数外的uri字符串起作用。

        a、rewrite：重写指令

        格式：rewrite regex replacement [flag]

#flag标志位：
last：表示完成rewrite
break：停止执行虚拟机的后续rewrite指令集
redirect：返回302的临时重定向，地址栏会显示跳转后的地址
permanent：返回301的永久重定向，地址栏会显示跳转后的地址。

        b、指令

            if判断指令：if(condition){...}

#condition:
1、当表达式只是一个变量时，如果值为空或任何以0开头的字符串都会当做false
2、直接比较变量和内容时，使用=或!=
3、~正则表达式匹配，~*不区分大小写的匹配，!~区分大小写的不匹配
4、
-f和!-f用来判断是否存在文件
-d和!-d用来判断是否存在目录
-e和!-e用来判断是否存在文件或目录
-x和!-x用来判断文件是否可执行

例子：
if($http_user_agent ~ MSIE){
    rewrite ^(.*)$ /msie/$1 break;
} 如果USER_AGENT有MSIE字符串，则跳转到 /msie/文件夹。（这里的$1=（.*）这个正则变量）

if ($http_cookie ~* "id=([^;]+)(?:;|$)") {
    set $id $1;
} 如果cooke 匹配正则，则设置$id为$1=([^;]+)(?:;|$)

if ($request_method = POST) {
    return 405;
} 如果method = post，返回405状态

if ($slow) {
    limit_rate 10k;
} 如果$slow匹配，则通过set指令设置

          c return :跳转指令

               Stops processing and returns the specified code to a client。停止请求，并返回第一的status数字给客服端。

        d、set：设置指令

                为给定的变量设置一个特定值。

       e、rewrite_log：日志重写指令，使用自己的设置的$xxx变量来写log格式。

                启用时将在error_log中记录notice级别的重写日志

       f、uniitialized_variable_warn：控制是否几率未初始化的警告变量。

  例子

    通过自定义的参数来重写log格式

http{
    #开启重写日志
    rewrite_log on;
    #重写日志格式
    log_format imagelog '[time_local] '$image_file' 'image_type' '$body_bytes_sent'' status;
    
    server{
        root /home/www;
        location / {
            #重写错误日志
            error_log logs/rewrite.log notice;
            
            #重写规则
            rewrite '^/images/([a-z]{2}/([a-z0-9]{5})/(.*)\.(png|jpg|gif))$' /data/?file=$3.$4
            #1、$1=([a-z]{2}),$2=[a-z0-9]{5},$3=(.*)\.(png|jpg|gif)
            #2、不能添加 "last",否则下面的set指令不会执行
            
            set $image_file $3;
            set $image_type $4;
        }    
    }
}