ELK搭建记录

一．版本

软件	版本	备注
jdk	1.8	至少1.8
elasticsearch	2.3.2
logstash	2.3.2
kibana	4.5.0
redis	3.3.0

二. 整体介绍

logstash分为agent(也称shiping)与index(也称indexing)，是两种角色。agent用于收集日志，将日志写入redis指定key；index用于到redis读取指定key数据，读完将数据删除（注：消息的数据源写入量大于logstash处理速度时，会导致消息丢失，此时才需要将logstash拆分为两个角色，一个用作读，一个用作写。如果日志量不大，完整可以直接输出到ES）。

es用于搜索日志信息，提供搜索服务。

kibana提供可视图形分析界面。

三．安装

各软件安装过程略，后续介绍启动命令。

四．启动redis

1.编辑redis的配置文件，主要修改里面“daemonize yes”，后台启动。
2.启动redis：
# ./redis-cli ../conf/redis.conf

五．启动es

es不能用root启动，参数-d为后台启动：
$ ./elasticsearch -d

六．启动kibana

nohup /home/edianzu/kibana-4.5.0/bin/kibana & 
或直接启动，观察日志(kibana比较容易宕)

七．logstash配置与启动

1.在es/bin同级目录创建conf目录，用于放置配置文件。
2.创建tomcat_agent.conf，用于写日志到redis，内容如下：

input {
    file {
        type => "tomcat_error"
        tags => [ "tomcat_error", "log4j" ]  # 只是个标签名称
        path => "/home/centos/tomcat-erp/logs/catalina.out" # tomcat错误日志存放路径 自行定义
    }
}

output {
    stdout {
            codec => rubydebug     # 标准输出插件的输出类型
        }
    redis {
        host => "127.0.0.1"
        port => 6379
        data_type => "list"
        key => "logstash-redis"
     #   password => "123456"
        db => 0
    }
}

3.创建tomcat_index.conf，用于读取redis数据到es，内容如下：

input {
    redis {
        host => "127.0.0.1"
        port => 6379
        data_type => "list"
        key => "logstash-redis"
        db => 0
    }
}

output {
elasticsearch {
    hosts  => "127.0.0.1:9200"     # ElasticSearch地址与端口，可以为array.
    index => "logstash-erp"     # 指定logstash进行索引的名称
    }
}

注：key内容需与agent中一致。

4.启动服务
需分别指定两个配置文件启动两个服务：
./logstash -f ../conf/tomcat_agent.conf 
./logstash -f ../conf/tomcat_index.conf 
加上--configtest 可对配置进行测试；也可nohup后台启动。

5.启动tomcat并产生日志
6.进入kibana界面
http://192.168.14.128:5601/ 
创建索引，界面如下：

切换到Discover界面，并搜索数据：

常用资料地址：

http://www.chepoo.com/elasticsearcharticles

http://es.xiaoleilu.com/index.html

https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/index.html