日志监控及检索:logstash+elasticsearch+kibana

一、简介

1、logstash：日志、事件管理工具，可以收集、分析(过滤)、存储

     它有两种运行模式：

                                  standalone:所有的都部署在同一台服务器上

                                  centralized:多服务器模式

2、elasticsearch：开源搜索引擎，用来日志检索

3、kibana:可视化日志和数据系统，作为elasticsearch的web前端

 

二、部署

1、安装redis

2、安装jdk

3、安装elasticsearch

cd /opt
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.1.1.tar.gz
tar -zxvf elasticsearch-1.1.1.tar.gz
elasticsearch-1.1.1/bin/elasticsearch -f

 

4、安装logstash

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.1.tar.gz
tar -zxvf logstash-1.4.1.tar.gz

 

a、  创建配置文件agent.conf（用与解析日志文件并存储到redis中)

input {

    file  {
           type => "linux-syslog"
            path => [ "/opt/pomelo.log" ]
          }
}

output {
         redis {
         host => "192.168.1.238"
         data_type =>"list"
         key => "logstash"
        }
}

 

   启动logstash(agent.conf)

logstash-1.4.1/bin/logstash agent -f agent.conf

 

b、创建index.conf(用于从redis提取数据输出到elasticsearch)

input {
redis {
host => '127.0.0.1'
data_type => 'list'
port => '6379'
key => 'logstash'
type => 'redis-input'
}
}

output {
elasticsearch_http {
host => '192.168.1.238'
port => '9200'
}
}

 启动logstash(index.conf)

logstash-1.4.1/bin/logstash agent -f index.conf

 

5、安装nginx或者apache

6、安装kibana

wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.0.tar.gz
tar -zxvf kibana-3.1.0.tar.gz
cd kibana
mv * /usr/local/nginx/html

 7、启动nginx

/usr/local/nginx/nginx

 

8、访问192.168.1.238

9、测试

向日志文件输入内容

echo "tang yu" >> pomelo.log

 然后在web上检索一下