elasticsearch+logstash+kibana安装配置

什么是elk

elk是指elasticsearch+logstash+kibana，其实通常还要加个redis
其中elasticsearch主要用来做全文索引，logstash来做日志采集和发送，kibana来做监控，redis来做中间环节的缓存

配置elk

配置过程需要安装的有java8，elk组件，redis服务器
我通常都选最新的

解压到目录
elasticsearch在这里使用并不需要配置，直接开箱即用
./elasticsearch
访问一下9200端口

下面配置一下logstash
其实这个东西主要是配置需要采集的文件和采集后构建全文索引
先看采集配置，主要配置监控的文件路径，以及采集的输出，在这里输出用redis做

input{
        file {
                type=>"system log"
                path=>["/var/log/*.log"]
        }
}
output{
        redis{
                host => "localhost"
                data_type => "list"
                key => "log:redis"
        }
}

其中input是输入，我们给其命名为system log，监控的路径是/var/log/下面所有以.log结尾的文件
输出则是redis，在redis中我们将以list类型存放，key是’log.redis’
redis的host为本机
下面我们看输出配置
输出其实就是redis中数据到elasticsearch创建索引

input{
        redis{
                host => "localhost"
                data_type => "list"
                key =>"log:redis"
                type => "redis-input"
        }
}
output{
        elasticsearch{
                hosts => "localhost:9200"
        }
}

同样，input是redis中的list，key为log:redis,数据类型为list,
不过输出很多老版本还是host和port的配法，刚开始也那样配置并不能正确运行，报错后通过查看错误信息解决，将host和port统一配制成hosts，这里还有一个embedded => true，这个参数是说elasticsearch用logstash自带的还是外部的，不过最新版的已经不能用这个参数了
，然后我们启动这两个，具体为/bin/logstash -f conf

kibana ：
kibana也是开箱即用，直接解压运行就可以
我们通过浏览器访问5601端口，创建一个索引，然后就可以看见运行效果了

运行效果

小结

不过logstash内存是个问题，还没开始用就被pass了，后面决定用heka+kafka实现，到时候再写一下安装过程