elk集成redis与kafka,简称elkkr

      elk 这次整体版本升级,性能提升杠杠的。

      elasticsearch 2.1

      logstah 2.1

      kibana 4.3

      redis 3.0.6

      kafka 2.11-0.9

      zk  3.4.7

     

     目前两台4core4G的云vm ,一天采集量超过1500万条日志,这几天放假,量少了很多

     
elk集成redis与kafka,简称elkkr_第1张图片
 

      zk集群:

      

 
elk集成redis与kafka,简称elkkr_第2张图片
 

 

      kafka 消息通信

   

     

 



 

       logstash 2.1要这装kafka插件,output 与input.具体参考  

       https://github.com/hugoren/logstash-output-kafka

 

       配置参考

     http://hugolandrover.iteye.com/blog/2268123

 

        redis 单独安装,就不用安装插件了

 

 

       实际效果演示

      

 

         

你可能感兴趣的:(logstash,zookeeper,kafka,zk,ELK,elkkr)