logstash+es+kibana+redis搭建日志平台

环境信息：

CentOS 6.5

redis 3.0.4

logstash

elasticsearch

kibana

服务端ip:192.168.0.65

客户端ip:192.168.0.66

关系结构图：

图片引用自： http://www.wklken.me/posts/2015/04/26/elk-for-nginx-log.html

安装redis

首先下载redis

wget http://download.redis.io/releases/redis-3.0.4.tar.gz

下载之后解压，编译安装

tar -zvxf redis-3.0.4.tar.gz

make

make install

然后启动redis

redis-server redis.conf &

添加&符号表示后台启动

安装logstash

服务器端

首先安装java环境这里使用比较简单的方法

yum install jdk –y

如果你手动安装的话建议安装java1.8

下载logstash

wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

下载之后解压

tar –zxvf logstash-1.5.4.tar.gz

然后到logstash目录下，创建config目录并创建一个logstash_server.conf文件，创建logs目录存放日志并创建logstash.log文件

编辑文件

vim logstash_server.conf

将一下内容写入到logstash_server.conf中

input {

redis {

host => "127.0.0.1"           #本地的reds地址

port => 6379                      #redis端口

type => "redis-input"           #输入类型

data_type => "list"               #使用redis的list存储数据

key => "key_count"

}

}

output {

stdout {}

elasticsearch {

host => "127.0.0.1"               #elasticsearch地址

cluster => "elasticsearch"

codec => "json"

protocol => "http"                  #elasticsearch使用的协议

}

}

配置完成后启动logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

数据采集端

数据采集端的安装步骤与服务器端的安装步骤相同

只是在配置文件有所不同

在数据采集端创建logstash_client.conf

数据采集端的conf文件配置为：

input {
 file {
  type => "type_count"                  

                 #日志所在的目录

   	        path => "/data/logs/count/stdout.log", "/data/logs/count/stderr.log"]
  exclude => ["*.gz", "access.log"]   #排除一些不想加入的日志
 }   
}

output {
 stdout {}
 redis {
  host => "192.168.0.65"
  port => 6379
  data_type => "list"         #数据类型也要保持一致
  key => "key_count"          #key 要与服务器端的相同 
 }   
}

配置完成后启动logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

安装elasticsearch

下载elasticsearch

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz

解压： tar –zvxf elasticsearch-1.7.2.tar.gz

elasticsearch 不需要特别的配置，只需要启动即可

切到elasticsearch的目录下进行启动：bin/elasticsearch –d

-d命令表示后台启动elasticsearch

安装kibana

下载kibana

wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

解压：tar –zxvf kibana-4.1.2-linux-x64.tar.gz

kibana需要配置一下elasearch所在的服务器地址

切到kibana的目录下

vim config/kibana.yml

找到   elasticsearch_url: " http://localhost:9200" 这一行修改为 elasticsearch_url: http://127.0.0.1:9200

kibana的启动需要需要一个.kibana的隐藏文件，可以在启动kibana之后执行下面的命令：

curl -XPUT localhost:9200/.kibana

测试安装是否成功

我们启动redis监控输入的信息

redis-cli –p 6379 mointor

然后我们到客户端的日志文件中写入一些测试信息：

echo 'this is a test message!' >>  /data/logs/count/stderr.log

会看到服务器端接收到信息：

到此，基本的搭建就已经完成了

最后推荐几个kibana使用的地址：

http://www.code123.cc/docs/kibana-logstash/v4/index.html