nginx 日志配置 流量限制

nginx 日志配置

1、nginx 日志介绍

nginx 有一个非常灵活的日志记录模式,每个级别的配置可以有各自独立的访问日志, 所需日志模块 ngx_http_log_module 的支持,日志格式通过 log_format 命令来定义,日志对于统计和排错是非常有利的,下面总结了 nginx 日志相关的配置 包括 access_log、rewrite_log、error_log。

# 设置访问日志

access_log path 样式;

2、作用域

可以应用access_log指令的作用域分别有http,server,location,。也就是说,在这几个作用域外使用该指令,Nginx会报错。

该例子指定日志的写入路径为/var/logs/nginx-access.log,日志格式使用默认的combined。

access_log /var/logs/nginx-access.log combined;

该例子指定日志的写入路径为/var/logs/nginx-access.log,日志格式使用默认的combined

3、log_format 指令

Nginx 预定义了名为 combined 日志格式,如果没有明确指定日志格式默认使用该格式:

log_format combined'$remote_addr - $remote_user [$time_local] '

'"$request" $status $body_bytes_sent '

'"$http_referer" "$http_user_agent"';

如果不想使用Nginx预定义的格式,可以通过log_format指令来自定义。

语法

log_format name[escape=default|json] string ...;

name 格式名称。在 access_log 指令中引用。

escape 设置变量中的字符编码方式是json还是default,默认是default。

string 要定义的日志格式内容。该参数可以有多个。参数中可以使用Nginx变量。

log_format 指令中常用的一些变量:

nginx 日志配置 流量限制_第1张图片

4.自定义日志格式的使用:

log_format  main'$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';


access_log /var/logs/nginx-access.log main;

server {


}

使用log_format指令定义了一个main的格式,并在access_log指令中引用了它。假如客户端有发起请求:http://qf.com/,我们看一下我截取的一个请求的日志记录:

10.0.105.207--[01/Jul/2019:10:44:36+0800]"GET / HTTP/1.1"3040"-""Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36""-"

我们看到最终的日志记录中$remote_user、$http_referer、$http_x_forwarded_for都对应了一个-,这是因为这几个变量为空。

  面试时:注意日志里面的ip地址一定要在第一列。

5、error_log 指令

错误日志在Nginx中是通过error_log指令实现的。该指令记录服务器和请求处理过程中的错误信息。

语法

配置错误日志文件的路径和日志级别。

error_log file [level];

Default:

error_log logs/error.log error;

file 参数指定日志的写入位置。

level 参数指定日志的级别。level可以是debug, info, notice, warn, error, crit, alert,emerg中的任意值。可以看到其取值范围是按紧急程度从低到高排列的。只有日志的错误级别等于或高于level指定的值才会写入错误日志中。

基本用法

error_log /var/logs/nginx/nginx-error.log

配置段:http,  mail,  stream,  server, location作用域。

例子中指定了错误日志的路径为:/var/logs/nginx/nginx-error.log,日志级别使用默认的 error。

6、rewrite_log 指令

由ngx_http_rewrite_module模块提供的。用来记录重写日志的。对于调试重写规则建议开启,启用时将在error log中记录重写日志。基本语法:

rewrite_log on | off;

默认值:

rewrite_log off;

配置段:  http,  server, location,  if作用域。

7、nginx 日志配置总结

Nginx中通过access_log和error_log指令配置访问日志和错误日志,通过log_format我们可以自定义日志格式。如果日志文件路径中使用了变量,我们可以通过open_log_file_cache 指令来设置缓存,提升性能。其他的根据自己的使用场景定义。

详细的日志配置信息可以参考Nginx官方文档

8、nginx的日志轮转

[root@192 ~]# rpm -ql nginx |grep log

/etc/logrotate.d/nginx

/var/log/nginx

[root@192 ~]# vim /etc/logrotate.d/nginx

/var/log/nginx/*.log {#指定需要轮转处理的日志文件

daily#日志文件轮转周期,可用值为: daily/weekly/yearly

missingok# 忽略错误信息

rotate7# 轮转次数,即最多存储7个归档日志,会删除最久的归档日志

minsize 5M  #限制条件,大于5M的日志文件才进行分割,否则不操作

dateext# 以当前日期作为命名格式

compress# 轮循结束后,已归档日志使用gzip进行压缩

delaycompress# 与compress共用,最近的一次归档不要压缩

notifempty# 日志文件为空,轮循不会继续执行

create640nginx nginx#新日志文件的权限

sharedscripts#有多个日志需要轮询时,只执行一次脚本

postrotate# 将日志文件转储后执行的命令。以endscript结尾,命令需要单独成行

if[-f/var/run/nginx.pid ];then#判断nginx的PID。# 默认logrotate会以root身份运行

kill-USR1cat/var/run/nginx.pid

fi

       endscript

}

执行命令:

[root@192 nginx]# /usr/sbin/logrotate -f /etc/logrotate.conf

创建计划任务:

[root@192 nginx]# crontab -e

5923* * * /usr/sbin/logrotate-f/etc/logrotate.conf

nginx 的平滑升级

1、为什么要对 nginx 平滑升级

随着 nginx 越来越流行,并且 nginx 的优势也越来越明显,nginx 的版本迭代也来时加速模式,1.9.0版本的nginx更新了许多新功能,伴随着 nginx 的广泛应用,版本升级必然越来越快,线上业务不能停,此时 nginx 的升级就需要平滑升级。

nginx 方便地帮助我们实现了平滑升级。其原理简单概括,就是:(1)在不停掉老进程的情况下,启动新进程。(2)老进程负责处理仍然没有处理完的请求,但不再接受处理请求。(3)新进程接受新请求。(4)老进程处理完所有请求,关闭所有连接后,停止。这样就很方便地实现了平滑升级。一般有两种情况下需要升级 nginx,一种是确实要升级 nginx 的版本,另一种是要为 nginx 添加新的模块。

2、nginx 平滑升级描述

多进程模式下的请求分配方式

nginx 默认工作在多进程模式下,即主进程(master process)启动后完成配置加载和端口绑定等动作,fork出指定数量的工作进程(worker process),这些子进程会持有监听端口的文件描述符(fd),并通过在该描述符上添加监听事件来接受连接

信号的接收和处理

nginx 主进程在启动完成后会进入等待状态,负责响应各类系统消息,如SIGCHLD、SIGHUP、SIGUSR2等。

Nginx信号简介

主进程支持的信号

TERM, INT: 立刻退出

QUIT: 等待工作进程结束后再退出

KILL: 强制终止进程

HUP: 重新加载配置文件,使用新的配置启动工作进程,并逐步关闭旧进程。

USR1: 重新打开日志文件

USR2: 启动新的主进程,实现热升级

WINCH: 逐步关闭工作进程

工作进程支持的信号

TERM, INT: 立刻退出

QUIT: 等待请求处理结束后再退出

USR1: 重新打开日志文件

3、nginx 平滑升级实战

1、查看现有的 nginx 编译参数

[root@nginx-server ~]#  /usr/local/nginx/sbin/nginx -V

nginx version: nginx/1.16.0

built bygcc4.8.520150623(Red Hat4.8.5-36) (GCC)

built with OpenSSL1.0.2k-fips26Jan2017

TLS SNI support enabled

configure arguments:--prefix=/usr/local/nginx--group=nginx--user=nginx--sbin-path=/usr/local/nginx/sbin/nginx--conf-path=/etc/nginx/nginx.conf--error-log-path=/var/log/nginx/error.log--http-log-path=/var/log/nginx/access.log--http-client-body-temp-path=/tmp/nginx/client_body--http-proxy-temp-path=/tmp/nginx/proxy--http-fastcgi-temp-path=/tmp/nginx/fastcgi--pid-path=/var/run/nginx.pid--lock-path=/var/lock/nginx--with-http_stub_status_module--with-http_ssl_module--with-http_gzip_static_module--with-pcre--with-http_realip_module--with-stream

2.上传新版本的源码包nginx-1.16.1.tar.gz,解压到/usr/local/

按照原来的编译参数安装 nginx 的方法进行安装,只需要到 make,千万不要 make install 。如果make install 会将原来的配置文件覆盖

[root@nginx-server2 ~]# cd /usr/local/nginx-1.16.1/

[root@nginx-server2 nginx-1.16.1]# ./configure --prefix=/usr/local/nginx --group=nginx --user=nginx --sbin-path=/usr/local/nginx/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/tmp/nginx/client_body --http-proxy-temp-path=/tmp/nginx/proxy --http-fastcgi-temp-path=/tmp/nginx/fastcgi --pid-path=/var/run/nginx.pid --lock-path=/var/lock/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-pcre --with-http_realip_module --with-stream

[root@nginx-server2 nginx-1.16.1]# make

千万不要make install

3、备份原 nginx 二进制文件

备份二进制文件和 nginx 的配置文件(期间nginx不会停止服务)

[root@nginx-server2 nginx-1.16.1]# mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx_$(date +%F)

4、复制新的nginx二进制文件,进入新的nginx源码包

[root@nginx-server2 nginx-1.16.1]# cp /usr/local/nginx-1.16.1/objs/nginx /usr/local/nginx/sbin/

5、测试新版本的nginx是否正常

[root@nginx-server2 nginx-1.16.1]# /usr/local/nginx/sbin/nginx -t

6、给nginx发送平滑迁移信号(若不清楚pid路径,请查看nginx配置文件)

[root@nginx-server2 nginx-1.16.1]# kill -USR2 `cat /var/run/nginx.pid`

7、查看nginx pid,会出现一个nginx.pid.oldbin

[root@nginx-server2 nginx-1.16.1]# ll /var/run/nginx.pid*

-rw-r--r--1root root5Jul111:29 /var/run/nginx.pid

-rw-r--r--1root root5Jul109:54 /var/run/nginx.pid.oldbin

8、从容关闭旧的Nginx进程

[root@nginx-server2 nginx-1.16.1]# kill -WINCH `cat /var/run/nginx.pid.oldbin`

9、此时不重载配置启动旧的工作进程

[root@nginx-server2 nginx-1.16.1]# kill -HUP `cat /var/run/nginx.pid.oldbin`

10、结束工作进程,完成此次升级

[root@nginx-server2 nginx-1.16.1]# kill -QUIT `cat /var/run/nginx.pid.oldbin`

11、验证Nginx是否升级成功

[root@nginx-server2 nginx-1.16.1]# /usr/local/nginx/sbin/nginx -V

12、访问验证

[root@localhost nginx-1.6.3]# elinks 10.0.105.189

nginx 错误页面配置

nginx错误页面包括404 403 500 502 503 504等页面,只需要在server中增加以下配置即可:

#error_page  404 403 500 502 503 504  /404.html;

location=/404.html {

                       root   /usr/local/nginx/html;

               }

注意:

/usr/local/nginx/html/ 路径下必须有404.html这个文件!!!

404.html上如果引用其他文件的png或css就会有问题,显示不出来,因为其他文件的访问也要做配置; 为了简单,可以将css嵌入文件中,图片用base编码嵌入;如下:

[root@localhost html]# vim 404.html

  

       404

      

  


哎呀,找不到该页面啦!

请检查您的网络连接是否正常或者输入的网址是否正确

                  

              

          

      


  

展示效果;

nginx 日志配置 流量限制_第2张图片

nginx 流量控制

流量限制 (rate-limiting),是Nginx中一个非常实用,却经常被错误理解和错误配置的功能。我们可以用来限制用户在给定时间内HTTP请求的数量。请求,可以是一个简单网站首页的GET请求,也可以是登录表单的 POST 请求。流量限制可以用作安全目的,比如可以减慢暴力密码破解的速率。通过将传入请求的速率限制为真实用户的典型值,并标识目标URL地址(通过日志),还可以用来抵御 DDOS 攻击。更常见的情况,该功能被用来保护上游应用服务器不被同时太多用户请求所压垮。

以下将会介绍Nginx的 流量限制 的基础知识和高级配置,”流量限制”在Nginx Plus中也适用。

1、Nginx如何限流

Nginx的”流量限制”使用漏桶算法(leaky bucket algorithm),该算法在通讯和分组交换计算机网络中广泛使用,用以处理带宽有限时的突发情况。就好比,一个桶口在倒水,桶底在漏水的水桶。如果桶口倒水的速率大于桶底的漏水速率,桶里面的水将会溢出;同样,在请求处理方面,水代表来自客户端的请求,水桶代表根据”先进先出调度算法”(FIFO)等待被处理的请求队列,桶底漏出的水代表离开缓冲区被服务器处理的请求,桶口溢出的水代表被丢弃和不被处理的请求。

2、配置基本的限流

“流量限制”配置两个主要的指令,limit_req_zone和limit_req,如下所示:

192.168.62.155配置:

limit_req_zone$binary_remote_addrzone=mylimit:10mrate=1r/s;

upstream myweb {

server192.168.62.157:80weight=1max_fails=1fail_timeout=1;

       }

server {

listen80;

       server_name localhost;

       location /login {

limit_reqzone=mylimit;

               proxy_pass http://myweb;

proxy_set_header Host$host:$server_port;

proxy_set_header X-Real-IP$remote_addr;

proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;

               }

}

192.168.62.157配置:

server {

listen80;

       server_name localhost;

       location /login {

               root    /usr/share/nginx/html;

               index   index.html index.html;

               }

}

limit_req_zone指令定义了流量限制相关的参数,而limit_req指令在出现的上下文中启用流量限制(示例中,对于”/login/”的所有请求)。

limit_req_zone指令通常在HTTP块中定义,使其可在多个上下文中使用,它需要以下三个参数:

Key - 定义应用限制的请求特性。示例中的 Nginx 变量$binary_remote_addr,保存客户端IP地址的二进制形式。这意味着,我们可以将每个不同的IP地址限制到,通过第三个参数设置的请求速率。(使用该变量是因为比字符串形式的客户端IP地址$remote_addr,占用更少的空间)

Zone - 定义用于存储每个IP地址状态以及被限制请求URL访问频率的共享内存区域。保存在内存共享区域的信息,意味着可以在Nginx的worker进程之间共享。定义分为两个部分:通过zone=keyword标识区域的名字,以及冒号后面跟区域大小。16000个IP地址的状态信息,大约需要1MB,所以示例中区域可以存储160000个IP地址。

Rate - 定义最大请求速率。在示例中,速率不能超过每秒10个请求。Nginx实际上以毫秒的粒度来跟踪请求,所以速率限制相当于每1000毫秒1个请求。因为不允许”突发情况”(见下一章节),这意味着在前一个请求1000毫秒内到达的请求将被拒绝。

limit_req_zone指令设置流量限制和共享内存区域的参数,但实际上并不限制请求速率。所以需要通过添加

limit_req指令,将流量限制应用在特定的location或者server块。在上面示例中,我们对/login/请求进行流量限制。

现在每个IP地址被限制为每秒只能请求1次/login/,更准确地说,在前一个请求的1000毫秒内不能请求该URL。

3、处理突发

如果我们在1000毫秒内接收到2个请求,怎么办?对于第二个请求,Nginx将给客户端返回错误。这可能并不是我们想要的结果,因为应用本质上趋向于突发性。相反地,我们希望缓冲任何超额的请求,然后及时地处理它们。我们更新下配置,在limit_req中使用burst参数:

limit_req_zone$binary_remote_addrzone=mylimit:10mrate=10r/s;

       upstream myweb {

server192.168.62.157:80weight=1max_fails=1fail_timeout=1;

               }


       server {

listen80;

               server_name localhost;

               location /login {

limit_reqzone=mylimitburst=20;

                       proxy_pass http://myweb;

proxy_set_header Host$host:$server_port;

proxy_set_header X-Real-IP$remote_addr;

proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;

                       }

       }

burst参数定义了超出zone指定速率的情况下(示例中的mylimit区域,速率限制在每秒10个请求,或每100毫秒一个请求),客户端还能发起多少请求。上一个请求100毫秒内到达的请求将会被放入队列,我们将队列大小设置为20。

这意味着,如果从一个给定IP地址发送21个请求,Nginx会立即将第一个请求发送到上游服务器群,然后将余下20个请求放在队列中。然后每100毫秒转发一个排队的请求,只有当传入请求使队列中排队的请求数超过20时,Nginx才会向客户端返回错误。

4、配置流量控制相关功能

1、配置日志记录

默认情况下,Nginx会在日志中记录由于流量限制而延迟或丢弃的请求,如下所示:

2019/02/1304:20:00 [error]120315#0: *32086 limiting requests, excess: 1.000 by zone "mylimit", client: 192.168.1.2, server: nginx.com, request: "GET / HTTP/1.0", host: "nginx.com"

日志条目中包含的字段:

limiting requests - 表明日志条目记录的是被“流量限制”请求

excess - 每毫秒超过对应“流量限制”配置的请求数量

zone - 定义实施“流量限制”的区域

client - 发起请求的客户端IP地址

server - 服务器IP地址或主机名

request - 客户端发起的实际HTTP请求

host - HTTP报头中host的值

默认情况下,Nginx以error级别来记录被拒绝的请求,如上面示例中的[error]所示(Nginx以较低级别记录延时请求,一般是info级别)。如要更改Nginx的日志记录级别,需要使用limit_req_log_level指令。这里,我们将被拒绝请求的日志记录级别设置为warn:

一定要定义日志位置和级别才可以:

limit_req_zone$binary_remote_addrzone=mylimit:10mrate=10r/s;

       upstream myweb {

server192.168.62.157:80weight=1max_fails=1fail_timeout=1;

               }

       server {

listen80;

               server_name localhost;

               location /login {

limit_reqzone=mylimitburst=20;

                       limit_req_log_level warn;

                       proxy_pass http://myweb;

proxy_set_header Host$host:$server_port;

proxy_set_header X-Real-IP$remote_addr;

proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;

                       }

       }

继续访问测试,看error.log日志

2、发送到客户端的错误代码

一般情况下,客户端超过配置的流量限制时,Nginx响应状态码为503(Service Temporarily Unavailable)。可以使用limit_req_status指令来设置为其它状态码(例如下面的404状态码):

limit_req_zone$binary_remote_addrzone=mylimit:10mrate=10r/s;

    upstream myweb {

    server192.168.62.157:80weight=1max_fails=1fail_timeout=1;

        }

    server {

    listen80;

    server_name localhost;


    location /login {

            limit_reqzone=mylimitburst=20;

            limit_req_log_level warn;

            limit_req_status404;

    proxy_pass http://myweb;

proxy_set_header Host$host:$server_port;

        proxy_set_header X-Real-IP$remote_addr;

        proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;

    }

    }

5、nginx 流量控制总结

以上已经涵盖了Nginx和Nginx Plus提供的“流量限制”的很多功能,包括为HTTP请求的不同location设置请求速率,给“流量限制”配置burst参数。

nginx 访问控制

1、nginx 访问控制模块

(1)基于IP的访问控制:http_access_module(2)基于用户的信任登录:http_auth_basic_module

2、基于IP的访问控制

1、配置语法

Syntax:allow address | CIDR | unix: | all;

default:默认无

Context:http,server,location

Syntax:deny address | CIDR | unix: | all;

default:默认无

Context:http,server,location

2、配置测试

修改/etc/nginx/conf.d/access_mod.conf内容如下:

server {

listen80;

       server_name localhost;

       location ~ ^/admin {

               root /home/www/html;

               index index.html index.hml;

deny192.168.1.8;

               allow all;

#deny 192.168.1.8;

               }

}

#需要注意:

如果先允许访问,在定义拒绝访问。那么拒绝访问不生效。

虚拟机宿主机IP为192.168.1.8,虚拟机IP为192.168.1.11,故这里禁止宿主机访问,允许其他所有IP访问。宿主机访问http://192.168.1.11/admin,显示403 Forbidden。当然也可以反向配置,同时也可以使用IP网段的配置方式,如allow 192.168.1.0/24;,表示满足此网段的IP都可以访问。

3、指定location拒绝所有请求

如果你想拒绝某个指定URL地址的所有请求,而不是仅仅对其限速,只需要在location块中配置deny all指令:

server {

listen80;

       server_name localhost;

       location /foo.html {

               root /home/www/html;

               deny all;

               }

}

3、基于用户的信任登录

1、配置语法

Syntax:auth_basic string | off;

default:auth_basic off;

Context:http,server,location,limit_except

Syntax:auth_basic_user_file file;

default:默认无

Context:http,server,location,limit_except

file:存储用户名密码信息的文件。

2、配置示例

改名access_mod.conf为auth_mod.conf,内容如下:

server {

    listen80;

    server_name localhost;

    location ~ ^/admin {

        root /home/www/html;

        index index.html index.hml;

        auth_basic"Auth access test!";

        auth_basic_user_file /etc/nginx/auth_conf;

        }

}

auth_basic不为off,开启登录验证功能,auth_basic_user_file加载账号密码文件。

3、建立口令文件

[root@192 ~]# mkdir /home/www/html/admin -p

[root@192 ~]# vim /home/www/html/admin

hello qf

[root@192 ~]# yum install -y httpd-tools #htpasswd 是开源 http 服务器 apache httpd 的一个命令工具,用于生成 http 基本认证的密码文件

[root@192 ~]# htpasswd -cm /etc/nginx/auth_conf user10  //第一次新建用户

[root@192 ~]# htpasswd -m /etc/nginx/auth_conf user20  //第二次添加用户

[root@192 ~]# cat /etc/nginx/auth_conf

user10:$apr1$MOa9UVqF$RlYRMk7eprViEpNtDV0n40

user20:$apr1$biHJhW03$xboNUJgHME6yDd17gkQNb0

4、访问测试

测试失败

nginx 日志配置 流量限制_第3张图片

5、局限性

(1)用户信息依赖文件方式(2)操作管理机械,效率低下

你可能感兴趣的:(nginx 日志配置 流量限制)