nginx日志管理、日志切割

日志管理

 

 

我们观察nginx的server段,可以看到如下类似信息

 #access_log  logs/host.access.log  main;

这说明 该server, 它的访问日志的文件是  logs/host.access.log ,

使用的格式”main”格式.

除了main格式,你可以自定义其他格式.

 

main格式是什么?

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

    #               '$status $body_bytes_sent "$http_referer" '

    #               '"$http_user_agent" "$http_x_forwarded_for"';

（php获取的客户端ip等就是通过nginx传过来的）

main格式是我们定义好一种日志的格式,并起个名字,便于引用.

以上面的例子, main类型的日志,记录的 remote_addr.... http_x_forwarded_for等选项.

 

 

1: 日志格式 是指记录哪些选项

默认的日志格式: main

     log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                            '$status $body_bytes_sent "$http_referer" '

                            '"$http_user_agent" "$http_x_forwarded_for"';

 

下面是log_format指令中常用的一些变量：

变量	含义
$bytes_sent	发送给客户端的总字节数
$body_bytes_sent	发送给客户端的字节数，不包括响应头的大小
$connection	连接序列号
$connection_requests	当前通过连接发出的请求数量
$msec	日志写入时间，单位为秒，精度是毫秒
$pipe	如果请求是通过http流水线发送，则其值为"p"，否则为“."
$request_length	请求长度（包括请求行，请求头和请求体）
$request_time	请求处理时长，单位为秒，精度为毫秒，从读入客户端的第一个字节开始，直到把最后一个字符发送张客户端进行日志写入为止
$status	响应状态码
$time_iso8601	标准格式的本地时间,形如“2017-05-24T18:31:27+08:00”
$time_local	通用日志格式下的本地时间，如"24/May/2017:18:31:27 +0800"
$http_referer	请求的referer地址。
$http_user_agent	客户端浏览器信息。
$remote_addr	客户端IP
$http_x_forwarded_for	当前端有代理服务器时，设置web节点记录客户端地址的配置，此参数生效的前提是代理服务器也要进行相关的x_forwarded_for设置。
$request	完整的原始请求行，如 "GET / HTTP/1.1"、POST等
$remote_user	客户端用户名称，针对启用了用户认证的请求
$request_uri	完整的请求地址

如淘宝屏蔽的爬虫(道德规范)：

（如果在nginx日志里发现了百度、google等的爬虫的访问，恭喜）

如默认的main日志格式,记录这么几项

远程IP- 远程用户/用户时间 请求方法(如GET/POST) 请求体body长度 referer来源信息

http-user-agent用户代理/蜘蛛 ,被转发的请求的原始IP

http_x_forwarded_for:在经过代理时,代理把你的本来IP加在此头信息中,传输你的原始IP

 

 

 

2: 声明一个独特的log_format并命名

 

    log_format  mylog '$remote_addr- "$request" '

                  '$status $body_bytes_sent "$http_referer" '

                  '"$http_user_agent" "$http_x_forwarded_for"';

在下面的server/location,我们就可以引用 mylog（通常默认有个main）

 

在server段中,这样来声明

Nginx允许针对不同的server做不同的Log ,(有的web服务器不支持,如lighttp)

 

access_log logs/access_8080.log mylog;   

声明log   log位置          log格式;

 

 

实际应用: shell+定时任务+nginx信号管理,完成日志按日期存储

分析思路:

凌晨00:00:01,把昨天的日志重命名,放在相应的目录下

再USR1信息号控制nginx重新生成新的日志文件

具体脚本:

#!/bin/bash

base_path='/usr/local/nginx/logs'

log_path=$(date -d yesterday +"%Y%m")

day=$(date -d yesterday +"%d")

mkdir -p $base_path/$log_path

mv $base_path/access.log $base_path/$log_path/access_$day.log

#echo $base_path/$log_path/access_$day.log

kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`

定时任务

Crontab 编辑定时任务

01 00 * * * /xxx/path/b.sh  每天0时1分(建议在02-04点之间,系统负载小)