Apache日志配置详解(rotatelogs LogFormat)，打造你自己的日志文件

1、日志系统概述

Apache提供了不把日志直接写入文件，而是通过管道发送给另外一个程序的能力。这样就大大加强了对日志进行处理的能力。这个通过管道得到的程序可以是任意程序，如日志分析、压缩日志等。要实现将日志写到管道的操作，只需要将配置中日志文件部分的内容替换为"|程序名"即可，例如： compressed logs

 CustomLog "|/usr/bin/gzip -c >> /var/log/access_log.gz" common

使用Apache自带的轮循工具rotatelogs来对日志文件进行轮循。rotatelogs基本是按时间或大小来控制日志的
在apache的配置文件httpd.conf里一般都有类似于LogFormat “%h %l %u %t “%r” %>s %b “%{Referer}i” “%{User-Agent}i”” common 的日志记录格式设置，那么这种格式里的各个参数都代表什么意思呢，怎样设置才能完全掌握网站的访问情况呢？下面我结合具体的情况来讲解一下:

2、按时间进行日志分割

在apache的配置文件httpd.conf中找到
ErrorLog logs/error_log及CustomLog logs/access_log common
将其改为

ErrorLog  "|/usr/sbin/rotatelogs /var/log/httpd/error_log-%Y%m%d 86400 480"
CustomLog "|/usr/sbin/rotatelogs /var/log/httpd/acc_log%Y%m%d 86400 480" combined

注意：这里网上很多资料说的是老的Apache，没有加上/usr/sbin/rotatelogs，这样系统找不到执行的脚本文件，会造成无法启动。
其中common为日志记录格式里设置的名称。
若有多个站点，则应将以上配置写到各站点的VirtualHost节点中，这样才会分开文件记录各站点日志。
附rotatelogs说明
语法：

rotatelogs [ -l ] logfile [ rotationtime [ offset ]] | [ filesizeM ]

选项：
-l
选项
logfile
它加上基准名就是日志文件名。如果logfile中包含’%’，则它会被视为用于的strftime(3)的格式字串；否则，它会被自动加上以秒为单位的.nnnnnnnnnn后缀。这两种格式都表示新的日志开始使用的时间。
rotationtime
日志文件回卷的以秒为单位的间隔时间，86400 表示一天，即每天生成一个新的日志文件。
offset
相对于UTC的时差的分钟数。如果省略，则默认为0，并使用UTC时间。比如，要指定UTC时差为-5小时的地区的当地时间，则此参数应为-300，北京时间为+8时间，应设置为480。这样日志里的时间才会和服务器上的时间一致，方便查看日志。
filesizeM
指定回卷时以兆字节为单位的后缀字母M的文件大小，而不是指定回卷时间或时差。
比如刚才的设置可以改为每5M生成一个新文件

ErrorLog  "|/usr/sbin/rotatelogs /var/log/httpd/error_log-%Y%m%d 5M"

3、相关参数说明

Apache文档已经给出了所有可用于格式串的变量及其含义，下面是其译文：
请求本身的情况将通过在格式字符串中放置各种"%"转义符的方法来记录，它们在写入日志文件时，根据下表的定义进行转换：

%a 远端IP地址
%A 本机IP地址
%B 除HTTP头以外传送的字节数
%b 以CLF格式显示的除HTTP头以外传送的字节数，也就是当没有字节传送时显示’-'而不是0。
%{Foobar}C 在请求中传送给服务端的cookieFoobar的内容。
%D 服务器处理本请求所用时间，以微为单位。
%{FOOBAR}e 环境变量FOOBAR的值
%f 文件名
%h 远端主机
%H 请求使用的协议
%{Foobar}i 发送到服务器的请求头Foobar:的内容。
%l 远端登录名(由identd而来，如果支持的话)，除非IdentityCheck设为"On"，否则将得到一个"-"。
%m 请求的方法
%{Foobar}n 来自另一个模块的注解Foobar的内容。
%{Foobar}o 应答头Foobar:的内容。
%p 服务器服务于该请求的标准端口。
%P 为本请求提供服务的子进程的PID。
%{format}P 服务于该请求的PID或TID(线程ID)，format的取值范围为：pid和tid(2.0.46及以后版本)以及hextid(需要APR1.2.0及以上版本)
%q 查询字符串(若存在则由一个"?"引导，否则返回空串)
%r 请求的第一行
%s 状态。对于内部重定向的请求，这个状态指的是原始请求的状态，—%>s则指的是最后请求的状态。
%t 时间，用普通日志时间格式(标准英语格式)
%{format}t 时间，用strftime(3)指定的格式表示的时间。(默认情况下按本地化格式)
%T 处理完请求所花时间，以秒为单位。
%u 远程用户名(根据验证信息而来；如果返回status(%s)为401，可能是假的)
%U 请求的URL路径，不包含查询字符串。
%v 对该请求提供服务的标准ServerName。
%V 根据UseCanonicalName指令设定的服务器名称。
%X 请求完成时的连接状态：X= 连接在应答完成前中断。
+= 应答传送完后继续保持连接。
-= 应答传送完后关闭连接。

(在1.3以后的版本中，这个指令是%c，但这样就和过去的SSL语法：%{var}c冲突了)
%I 接收的字节数，包括请求头的数据，并且不能为零。要使用这个指令你必须启用mod_logio模块。
%O 发送的字节数，包括请求头的数据，并且不能为零。要使用这个指令你必须启用mod_logio模块。

修饰符
可以紧跟在"%“后面加上一个逗号分隔的状态码列表来限制记录的条目。例如，”%400,501{User-agent}i" 只记录状态码400和501发生时的User-agent头内容；不满足条件时用"-“代替。状态码前还可以加上”!“前缀表示否 定，”%!200,304,302{Referer}i"记录所有不同于200,304,302的状态码发生时的Referer头内容。

"<“和”>"修饰符可以用来指定对于已被内部重定向的请求是选择原始的请求还是选择最终的请求。默认情况下，%s, %U, %T, %D, %r 使用原始请求，而所有其他格式串则选择最终请求。例如，%>s 可以用于记录请求的最终状态，而 %

一些说明
出于安全考虑，从2.0.46版本开始，%r, %i, %o 中的特殊字符，除了双引号(")和反斜线()分别用 " 和 \ 进行转义、空白字符用C风格(\n, \t 等)进行转义以外，非打印字符和其它特殊字符使用 \xhh 格式进行转义(hh是该字符的16进制编码)。在2.0.46以前的版本中，这些内容会被完整的按原样记录。这种做法将导致客户端可以在日志中插入控制字 符，所以你在处理这些日志文件的时候要特别小心。

在2.0版本中(不同于1.3)，%b 和 %B 格式字符串并不表示发送到客户端的字节数，而只是简单的表示HTTP应答字节数(在连接中断或使用SSL时与前者有所不同)。mod_logio提供的 %O 格式字符串将会记录发送的实际字节数。

示例
一些常见的格式串：

通用日志格式(CLF)
“%h %l %u %t “%r” %>s %b”

带虚拟主机的通用日志格式
“%v %h %l %u %t “%r” %>s %b”

NCSA扩展/组合日志格式
“%h %l %u %t “%r” %>s %b “%{Referer}i” “%{User-agent}i””

Referer日志格式
“%{Referer}i -> %U”

Agent(Browser)日志格式
“%{User-agent}i”
在所有上面列出的变量中，“…”表示一个可选的条件。如果没有指定条件，则变量的值将以“-”取代。分析前面来自默认httpd.conf文件的 LogFormat指令示例，可以看出它创建了一种名为“common”的日志格式，其中包括：远程主机，远程登录名字，远程用户，请求时间，请求的第一 行代码，请求状态，以及发送的字节数。

有时候我们只想在日志中记录某些特定的、已定义的信息，这时就要用到“…”。如果在“%”和变量之间放入了一个或者多个HTTP状态代码，则只有当请 求返回的状态代码属于指定的状态代码之一时，变量所代表的内容才会被记录。例如，如果我们想要记录的是网站的所有无效链接，那么可以使用：
LogFormat %404{Referer}i BrokenLinks

反之，如果我们想要记录那些状态代码不等于指定值的请求，只需加入一个“!”符号即可：

LogFormat %!200U SomethingWrong

专门记录某个蜘蛛记录

SetEnvIfNoCase User-Agent Baiduspider baidu_robot
LogFormat “%h %t \”%r\” %>s %b” robot
linux下
CustomLog “|/usr/local/apache2.2.0/bin/rotatelogs /usr/local/apache2.2.0/logs/baidu_%Y%m%d.txt 86400 480″ robot env=baidu_robot
windows下
CustomLog “|bin/rotatelogs.exe logs/baidu_%Y%m%d.txt 86400 480″ robot env=baidu_robot
这样在logs目录下，就会每天产生baidu_年月日.txt的日志了，每条的记录和下面的类似：
61.135.168.14 [22/Oct/2008:22:21:26 +0800] “GET / HTTP/1.1″ 200 8427

4、strftime(3)手册

从上面的参数设置中，我们会使用到strftime(3)指定的格式
%A 星期名全称(本地的)
%a 3个字符的星期名(本地的)
%B 月份名的全称(本地的)
%b 3个字符的月份名(本地的)
%c 日期和时间(本地的)
%d 2位数的一个月中的日期数
%H 2位数的小时数(24小时制)
%I 2位数的小时数(12小时制)
%j 3位数的一年中的日期数
%M 2位数的分钟数
%m 2位数的月份数
%p am/pm12小时制的上下午(本地的)
%S 2位数的秒数
%U 2位数的一年中的星期数(星期天为一周的第一天)
%W 2位数的一年中的星期数(星期一为一周的第一天)
%w 1位数的星期几(星期天为一周的第一天)
%X 时间(本地的)
%x 日期(本地的)
%Y 4位数的年份
%y 2位数的年份
%Z 时区名
%% 符号"%"本身
我们可以看出这些和传统的还是有所区别的，比如我们在PHP中使用格式化时间，使用的是
Y-m-d H:i:s
但这里是没有i和s的，必须使用%I和%S ，我们来看一下默认的日志

这是系统的格式，我们想按中国人的习惯，那就改为

LogFormat "%a %h %l %u %{%Y-%m-%d %H:%M:%S}t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%a %h %l %u %{%Y-%m-%d %H:%M:%S}t \"%r\" %>s %b" common

重启动Apache后来看一下

OK，一切搞定！