splunk与syslog建立强大的日志服务器

splunk是什么？

Splunk 是一个运行于 Unix 环境下的日志分析软件.与 Google Analytics 这一类的 Web 日志分析软件的不同之处在于，Splunk 可以支持任何服务器产生的日志，其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索，并且通过非常好的图形化的方式展现出来。

每天由各种服务器所产生的日志的数量是非常惊人的，而遇到突发情况时，却往往能够从这些海量日志中找到最多的有用消息。通常在 Unix 下对日志进行查找使用的是 grep 之类的低效率的方式，而 Splunk 使用了现代搜索引擎技术对日志进行搜索，同时提供了一个非常强大的 AJAX 式的界面展现日志(文字来自互联网)。

需关闭selinux

vi /etc/sysconfig/selinux 
SELINUX=disabled 
setenforce 0

开始安装

wget http://download.splunk.com/releases/3.4.9/linux/splunk-3.4.9-57762-Linux-i686.tgz 
tar -zxvf splunk-3.4.9-57762-Linux-i686.tgz 
cd .. 
mv splunk /usr/local 
cd /usr/local/splunk/bin 
./splunk enable boot-start 
/etc/init.d/splunk start 

netstat -an 
0.0.0.0:8000 
0.0.0.0:8089

监听以上两个端口则完成安装。

界面截图

整合syslog

添加syslog-ng步骤：

在Admin->Data Inputs->Network Ports上点选New Input.选择TCP 9998 port, Set Source Type选Form List,Source Type选Syslog,这样的设定就可以给Syslog-ng传log了。

添加syslog步骤：

再重复一次添加syslog-ng的步骤，但是端口要改成UDP 514就可以了。

客户端

vi /etc/syslog.conf 
*.*      @192.168.0.100(log server ip)

架构图

参考文章：
http://deidara.blog.51cto.com/400447/102649
http://www.linuxtone.org/html/74/t-1874.html
http://jackiechen.blog.51cto.com/196075/150222
http://viml.nchc.org.tw/blog/paper_info.php?CLASS_ID=1&SUB_ID=1&PAPER_ID=88
http://chinaonrails.com/topic/view/1751.html
http://www.igvita.com/2008/10/22/distributed-logging-syslog-ng-splunk/
http://jackiechen.blog.51cto.com/196075/149860
http://blog.sina.com.cn/s/blog_4a071ed80100cssu.html
http://splunk.blog.51cto.com/711171/142667