集中化Linux日志管理系统
笔者 工作中 负责 着 60 多 台Linux服务器的运维管理工作， 初期 每台机器日志的巡查，是一件相当耗时耗力的工作。后来经过 摸索 ，整理出一个非常适合各种规模的服务器的日志集中化管理，巡查流程，为程序开发人员和运维人员提供单 简单直观 的web界面 巡查所有服务器日志 。
目前这套系统已经投入到我们的生产环境， 实践证明 效果 良好， 大大提高了运维工作中日志检查效率 。 通过日志， 运维人员就可以 预先发现 各个主机潜在 问题，及时解决之。另一方面，web开发人员，MySQL DBA等人员也可以从这套系统中受益，迅速发现nginx ,php-fpm, mysql, apache的潜在配置问题，从而及时 优化之 。
考虑到集中化日志管理巡查的重要性，笔者愿意将自身的经验分享给大家，同时给出已经编写好（作少量调整，可直接使用）的shell脚本。希望各位朋友在提出宝贵建议，若实施过程中，遇到问题可发邮件至笔者信箱[email protected]。
这套系统的特点：
１. 部署简单：全部使用常见的软件实现，具有普遍适用性，客户端仅需要使用tftp/crontab部署通用的shell脚本 无须复杂配置即可实现。
２. 功能全面：可管理目前绝大部分系统日志和应用程序日志，如Linx系统日志(messages)、登录日志(secure)、最后登录(lastlog)、crond日志、开机信息(dmesg)、以及MySQL错误日志、 MySQL慢查询日志、nginx错误日志、Apache错误日志(未真正实现)、php-fpm错误日志、php慢日志（执行过慢的php程序的日志）、FTP传输日志。而Linux自带的syslog集中管理，仅能管理系统日志，无太好的实用性。
３. 可灵活扩展：可根据具体需要，轻松扩展管理其它日志（修改shell脚本即可），如squid日志等等。
４. 使用web界面，即可浏览所有客户端各种日志
这套系统中对开发人员最为有用的是MySQL的慢查询日志/错误日志、php-fpm慢日志/错误日志，通过这些日志记录，可及时发现程序中的性能问题。
本文主要分三个部分，第一部分描述这套集中化日志管理系统的技术原理，第二部分详细描述部署流程，第三部分附加描述了MySQL, nginx , php-fpm的日志记录的配置事宜，具有很实用参考价值。
一、 集中化日志管理系统的技术原理
集中化日志管理系统中服务器角色分为客户端和服务器端，客户端定期（cron实现）切割系统及应用程序的日志（shell脚本实现），按一定的格式命名，并用TFTP协议将其推送到中心主机。
中心主机运行TFTP服务端程序，接受各个客户端传送而来的日志文件，定期（cron）将日志文件归档，如按客户端IP将日志文件存入不同的目录。 同时为了简化日志的阅读，我们在中心主机上安装nginx (其它http server也可），开启目录浏览功能，这样无论是开发人员，还是运维人员，均可通过web页面检查所有客户端日志，大大提高日志巡查效率。
需要注意的事，在这套系统中我们选择使用了TFTP，而没有使用其它方式（如SSH密钥文件认证、NFS、rsync），是出于安全性的考虑，如果使用ssh密钥认证，如果某个客户端被入侵，那么中心主机也难逃厄运。同时TFTP协议简单，无须验证，也简化了我们部署流程。
二、部署流程
中心主机的部署过程：
１. 安装TFTPD（TFTP服务器端,安装光盘中rpm包）和http server(这里使用nginx)。
显然TFTPD的根目录和nginx的日志浏览站点根目录可一样，也可不一样。在本文中，两者的根目录设置成一样。
A. 建立TFTPD根目录，并设置好相应权限（用于保存客户端发送而来的日志文件），假设要将日志保存在/data/logs目录中，则需要在中心主机上运行以下命令
mkdir /data/logs
chown -R nobody:nobody /data/logs
/usr/sbin/in.tftpd -u nobody -s /data/logs --umask=002 -p -c -l
这样，TFTPD就配置完毕了，然后在其它机器（也可以中心主机）上，用tftp客户端命令测试下，看看是否能上传文件（需要在客户端安装tftp客户端）假设中心主机IP是172.169.10.1，使用以下命令测试：
cd /var/log
tftp 172.169.10.1 -c put messages messages.log
以上命令是尝试将当前机器的messages文件发送给TFTPD服务器，并以messages.log保存。
若测试没有问题，则可以进行下一步配置
B. 配置nginx（Apache也可）并开启目录浏览功能
编辑nginx的配置文件（假设日志浏览站点主机名是logs.local），建立以下虚拟主机配置：
server {
listen 80;
server_name logs.local ;
root /data/logs;
autoindex_exact_size off;
autoindex_localtime on;
autoindex on;
}
修改nginx配置目录下的mime.types，加入以下行
text/plain log;
这样，当在浏览器中点击log文件时，将不会下载，而是直接在浏览器中打开。
然后执行nginx -s reload使用配置生效。再使用浏览器访问logs.local，观察是否可浏览目录（本例中需要在本机hosts中绑定172.169.10.1 logs.local）
2. 客户端部署
相关的shell脚本已经由笔者写好，如果你看到的文章中没有附件下载链接（文章被其它站点转载时，附件丢失），请发邮件到笔者信箱[email protected]索取。
A. 安装tftp客户端，直接使用Linux光盘中的tftp-0.49-2.x86_64.rpm安装即可
B. 将笔者提供的sync_logs.sh脚本复制到合适的位置（假设复制到/root/tools目录下）
cd /root/tools
#设置运行权限
chmod u+x sync_logs.sh
vi编辑sync_logs.sh的关键配置
f pm_log=/usr/local/php5.3.6/var/log/php-fpm.log
fpm_slowlog=/usr/local/php5.3.6/var/log/php-slow.log
fpm_pid=/usr/local/php5.3.6/var/run/php-fpm.pid
以上分别是php-fpm的错误日志、php慢日志（执行过慢的php脚本日志）、php-fpm的pid文件完整路径，如果此客户端没有安装php-fpm，则在这三行前加#将其注释即可。
mysql_log=/data/front/mysql.log
mysql_slowlog=/data/front/mysqlslow.log
mysql_pid=/data/front/my.pid
以上分别是MySQL的错误日志，慢查询日志，MySQL的pid文件路径，如果此客户端没有运行MySQL, 将其注释即可
nginx_log=/usr/local/nginx/logs/error.log
nginx_pid=/usr/local/nginx/logs/nginx.pid
nginx的错误日志及pid文件路径，如果此客户端没有安装nginx, 则注释之。
server= 172.169.10.1
中心主机的ip或域名
修改完毕后，运行脚本并观察结果
./sync_logs.sh
若没有错误发生，回到中心主机的TFTPD根目录中，观察是否有类似172.169.10.16_messages_2011-05-21.log文件生成（172.169.10.16是客户端IP)，如果存在，则证明同步日志功能搭建成功。
C. 建立cron任务，定期推送日志
crontab -e
#输入以下内容，每天早上6点自动向中心主机传送日志
0 8 * * * /root/tools/sync_logs.sh
3. 为中心主机设置日志归档功能
客户端上传的日志以“IP_日志名称_日期.log”格式保存到TFTP服务器根目录下，TFTP服务器需要定期将这些日志按IP归档。将附件的move_logs.sh复制到中心主机合适的位置（这里是/root/tools/move_logs.sh），如果你找不到此脚本的下载链接，请发邮件到[email protected]索取。
修改move_logs.sh中的logpath参数，将其指向到真实的日志位置（本例中是/data/logs）
cd /root/tools
chmod u+x move_logs.sh
至此，按第２步给其它主机设置即可。
FAQ:
此脚本在切割日志时（如MySQL php-fpm, nginx)，会影响服务吗？
不会，因为脚本使用的是向服务程序（syslog, mysql, nginx）发送信号的方式让其重新生成日志，故不会影响应用服务。
不支持Aapache的错误日志？
是的，我们的环境中已经没有使用Apache了。若你的环境中有Apache, 则修改sync_logs.sh加入Apache日志推送功能即可。
如果部署中有问题或是bug, 如何取得帮助？
笔者信箱是 [email protected]
三、附录：常见应用程序的日志设置
１. MySQL的错误日志及慢日志设置
修改MySQL的配置文件（一般为/etc/my.cnf），修改以下几项即可：
log-slow-queries="/usr/data/mysql/data/slow.log"
long-query-time=1
log-error="/usr/data/mysql/data/mysql.log"
修改完毕，须重启MySQL方可生效。
２. nginx的日志设置
修改nginx的主配置文件（如/usr/local/nginx/config/nginx.conf）
error_log logs/error.log;
指定日志路径（相对路径及绝对路径均可）
３. php-fpm错误日志及慢日志
php 5.3.0以上版本自带了fpm (fastcgi process manager)模块，可与nginx完美搭配。而新 增的日志功能更为实用，可通过修改php-fpm.conf进行配置（假设php安装在 usr/local/php5.3.6），则编辑 /usr/local/php5.3.6/etc/php-fpm.conf
[global]
pid = run/php-fpm.pid
error_log = log/php-fpm.log
log_level = notice
以上定义主要是记录php程序中错误（运行时程序错误，这对php项目维护人员相当有用）
[www]
request_slowlog_timeout = 1s
slowlog = /usr/local/php5.3.6/var/log/php-slow.log
定义php慢日志, 执行时间超过１秒，则认为存在性能问题，这对php项目的维护人员非常有用，通过它，可清楚得知php程序中的性能问题。比较遗憾的是官方php源码只提供到最小秒级的记录。
以上两个特性（特别是php慢日志），是我毫不迟疑选择php-fpm+nginx的理由之一。
本文的目的即是分享笔者的亲身经验，也希望到能起到抛砖引玉作用，大家在运维工作中，可参考本文思路，充分构建适合自身需要的日志系统。