日志管理

 

 

我们观察nginx的server,可以看到如下类似信息

 #access_log  logs/host.access.log  main;

这说明 该server, 它的访问日志的文件是  logs/host.access.log ,

使用的格式main格式.

除了main格式,你可以自定义其他格式.

 

main格式是什么?

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

    #               '$status $body_bytes_sent "$http_referer" '

    #               '"$http_user_agent" "$http_x_forwarded_for"';

(php获取的客户端ip等就是通过nginx传过来的)


main格式是我们定义好一种日志的格式,并起个名字,便于引用.

以上面的例子, main类型的日志,记录的 remote_addr.... http_x_forwarded_for等选项.

 

 

1: 日志格式 是指记录哪些选项

默认的日志格式: main

     log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                            '$status $body_bytes_sent "$http_referer" '

                            '"$http_user_agent" "$http_x_forwarded_for"';

 

下面是log_format指令中常用的一些变量:

变量

含义

$bytes_sent

发送给客户端的总字节数

$body_bytes_sent

发送给客户端的字节数,不包括响应头的大小

$connection

连接序列号

$connection_requests

当前通过连接发出的请求数量

$msec

日志写入时间,单位为秒,精度是毫秒

$pipe

如果请求是通过http流水线发送,则其值为"p",否则为“."

$request_length

请求长度(包括请求行,请求头和请求体)

$request_time

请求处理时长,单位为秒,精度为毫秒,从读入客户端的第一个字节开始,直到把最后一个字符发送张客户端进行日志写入为止

$status

响应状态码

$time_iso8601

标准格式的本地时间,形如“2017-05-24T18:31:27+08:00

$time_local

通用日志格式下的本地时间,如"24/May/2017:18:31:27 +0800"

$http_referer

请求的referer地址。

$http_user_agent

客户端浏览器信息。

$remote_addr

客户端IP

$http_x_forwarded_for

当前端有代理服务器时,设置web节点记录客户端地址的配置,此参数生效的前提是代理服务器也要进行相关的x_forwarded_for设置。

$request

完整的原始请求行,如 "GET / HTTP/1.1"、POST等

$remote_user

客户端用户名称,针对启用了用户认证的请求

$request_uri

完整的请求地址


如淘宝屏蔽的爬虫(道德规范):

nginx日志管理、日志切割_第1张图片

(如果在nginx日志里发现了百度、google等的爬虫的访问,恭喜)



如默认的main日志格式,记录这么几项

远程IP- 远程用户/用户时间 请求方法(GET/POST) 请求体body长度 referer来源信息

http-user-agent用户代理/蜘蛛 ,被转发的请求的原始IP

http_x_forwarded_for:在经过代理时,代理把你的本来IP加在此头信息中,传输你的原始IP

 

 

 

2: 声明一个独特的log_format并命名

 

    log_format  mylog '$remote_addr- "$request" '

                  '$status $body_bytes_sent "$http_referer" '

                  '"$http_user_agent" "$http_x_forwarded_for"';

在下面的server/location,我们就可以引用 mylog(通常默认有个main)

 

在server段中,这样来声明

Nginx允许针对不同的server做不同的Log ,(有的web服务器不支持,lighttp)

 

access_log logs/access_8080.log mylog;   

声明log   log位置          log格式;

 

 

实际应用: shell+定时任务+nginx信号管理,完成日志按日期存储

分析思路:

凌晨00:00:01,把昨天的日志重命名,放在相应的目录下

USR1信息号控制nginx重新生成新的日志文件


具体脚本:

#!/bin/bash

base_path='/usr/local/nginx/logs'

log_path=$(date -d yesterday +"%Y%m")

day=$(date -d yesterday +"%d")

mkdir -p $base_path/$log_path

mv $base_path/access.log $base_path/$log_path/access_$day.log

#echo $base_path/$log_path/access_$day.log

kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`


定时任务

Crontab 编辑定时任务

01 00 * * * /xxx/path/b.sh  每天01(建议在02-04点之间,系统负载小)