将Apache的访问日志实时写入mysql数据库


在apache配置文件或是虚拟主机配置文件中(也就是配置LogFormat以及CustomLog部分)增加如下内容:

LogFormat "INSERT INTO apachelog (ID, dateTime, IP, URL, code, referer, userAgent, size, request) VALUES ( NULL , \"%{%Y-%m-%d %H:%M:%S}t\", \"%a\", \"%U\", \"%>s\", \" %{Referer}i\", \"%{User-Agent}i\", %b, %T);" sqlcomm

CustomLog "| /usr/bin/mysql --user=root --password='' --database=apachealog" sqlcomm


在Mysql数据库中创建数据库及数据表:
mysql> create database apachealog;
mysql> show create table apachealog;
CREATE TABLE `apachelog` (
  `ID` int(11) NOT NULL AUTO_INCREMENT,
  `dateTime` datetime NOT NULL,
  `IP` varchar(15) NOT NULL,
  `URL` varchar(256) NOT NULL,
  `code` varchar(3) NOT NULL,
  `referer` varchar(256) NOT NULL,
  `userAgent` varchar(256) NOT NULL,
  `size` int(11) NOT NULL,
  `request` float NOT NULL,
  PRIMARY KEY (`ID`),
  KEY `dateTime` (`dateTime`)
) ENGINE=MyISAM AUTO_INCREMENT=40 DEFAULT CHARSET=latin1;


实现思路:
先是利用LogFormat设置将日志转换为接近sql的格式,再通过CustomLog 调用pipe实现mysql写入。

注:Apache的日志格式可以参照官方文档:http://httpd.apache.org/docs/2.2/mod/mod_log_config.html#formats,也可以使用SetEnvIf配合正则表达式过滤掉诸如图片、CSS、JS之类相对不重要的信息。

你可能感兴趣的:(将Apache的访问日志实时写入mysql数据库)