用Kibana和logstash快速搭建实时日志查询、收集与分析系统

tash.net/docs/1.1.0/plugin-status  {"timestamp":"2013-03-19T19:45:35.853000 -0700","message":"Using beta plugin 'redis'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status ","level":"info"}

只要没有 warning 和 error就算是正常启动了
启动之前请确定 192.168.233.130的 redis服务器已经启动，不然会报错
下面登录到 192.168.233.130 上看看 redis服务的状态

[192.168.233.130 root@nodea:/data/redis/etc]
# lsof -i:6379
COMMAND    PID USER   FD   TYPE DEVICE SIZE NODE NAME
redis-ser 2732 root    4u  IPv4   7946       TCP *:6379 (LISTEN)
redis-ser 2732 root    5u  IPv4   7963       TCP localhost.localdomain:6379->localhost.localdomain:19214 (ESTABLISHED)
java      2733 root    9u  IPv4   7959       TCP localhost.localdomain:19214->localhost.localdomain:6379 (ESTABLISHED)
状态正常，端口处于监听状态，我用的是最简单的 配置，
[192.168.233.130 root@nodea:/data/redis/etc]
# vim redis.conf
#this is the config file for redis
pidfile /var/run/redis.pid
port 6379
timeout 0
loglevel verbose
logfile /data/redis/log/redis.log
dbfilename dump.rdb
dir /data/redis/db/
vm-swap-file /tmp/redis.swap
activerehashing yes
启动命令如下
[192.168.233.130 root@nodea:/data/redis/etc]
# redis-server /data/redis/etc/redis.conf &

下载安装就比较简单了

[192.168.233.130 root@nodea:/soft]
# wget http://redis.googlecode.com/files/redis-2.4.14.tar.gz
[192.168.233.130 root@nodea:/data/redis/etc]
# make –j24
[192.168.233.130 root@nodea:/data/redis/etc]
# make install

配置文件里的那几个路径要提前建好

最后我们回到 logstash agent 上面测试一下

[192.168.233.129 root@noded:/soft]
# echo GET12313 >> apache.log
[192.168.233.129 root@noded:/soft]
# echo errorabcd >> apache.log

ok 到 http://192.168.233.128:9292 去搜索一下 刚才的两个内容

嗯，就是这样了，我现在找个php的错误日志给他追加到php.log文件里 
[192.168.233.129 root@noded:/soft]
# cat php-error.log >> php.log
在看看 logstash的页面 搜索一下 error

OK，最后就是 Kibana了 ，我把Kibana装在了 logstash index上面
下载地址为 http://kibana.org/intro.html

[192.168.233.128 root@nodec:/soft]
# tar xf Kibana-0.2.0.tar.gz
[192.168.233.128 root@nodec:/soft]
# cd Kibana-0.2.0
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0]
# bundle install
直接安装就好了，非常简单，因为之前咱们已经安装好了 bundle
编辑配置文件，指定 elasticsearch 的位置
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0]
# vim KibanaConfig.rb
.....
  Elasticsearch = "localhost:9200"
  KibanaPort = 5601
  KibanaHost = '0.0.0.0'
.....
主要是这几个参数
启动的话需要ruby
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0]
# /usr/bin/ruby kibana.rb &
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0]
# == Sinatra/1.3.5 has taken the stage on 5601 for development with backup from Thin
>> Thin web server (v1.5.0 codename Knife)
>> Maximum connections set to 1024
>> Listening on 0.0.0.0:5601, CTRL+C to stop
如果ruby的东西都不缺的话，启动会很顺利，ok 现在看看5601端口的状态
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0]
# lsof -i:5601
COMMAND  PID USER   FD   TYPE DEVICE SIZE NODE NAME
ruby    3116 root    5u  IPv4  28947       TCP *:esmagent (LISTEN)

访问一下 试试看 http://192.168.233.128:5601 尝试搜索一下php的错误日志，比如mysql

呵呵，要的就是这个效果，日志会实时的汇总到 logstash index 上供我们查询，当然这只是开始使用logstash的第一步而已，更多的高级功能可以看看官方文档
http://logstash.net/docs/1.1.9/
如果有问题大家可以一起探讨，我也是刚开始接触这个东东，收集日志是相当方便啊，据说还能跟nagios结合. 呵呵

本文出自 “story的天空” 博客，请务必保留此出处http://storysky.blog.51cto.com/628458/1158707