ELK日志分析系统简介

前言

当我们部署集群服务器的时候，日志文件就会散落在多台服务器上。查看日志信息就需要到各个服务器上去取和查看，我们把这些日志文件归集到一个地方统一管理。
这个时候ELK系统出现了，ELK是elasticsearch、Logstashh和Kibana三个系统的首字母组合。
当然ELK不只是查看日志功能这么简单，还有更多的应用。

概述

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

ELK工作流程

在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

部署方式

ELK部署最简单的方式就是L-E-K方式，不添加任何其他辅助系统，部署简单快速，容易上手。

第二种方式：在L-E之间添加一层redis辅助，这样能够减少日志在服务端的积压，把压力转移到ELK系统服务器上。这种方式添加redis之后，由于redis是内存系统所以响应速度很快，而且可以在redis后添加多个消费系统（Logstash），来扩展消费能力，增强处理速度。

第三种方式：随着业务的增长，服务器部署集群，redis单点故障问题等等，上面的方案已满足不了我们的需求，这个时候我们可以使用Kafka来代替Redis，Kafka相关部署这里不详述，可查看相关资料。

参考文章
https://www.elastic.co/cn/products
http://467754239.blog.51cto.com/4878013/1700828/
http://baidu.blog.51cto.com/71938/1676798
http://blog.csdn.net/buqutianya/article/details/71941351
http://www.jianshu.com/p/797073c1913f