ELK入门系列（01）——初识ELK

1、前言

服务的集群部署催生了ELK的出现。当我们的服务集群的时候，日志文件就会散落在各个节点。这时候，如果我们需要查看日志，就不在像单点服务那么简单了，带来的问题则是查看日志信息需要到各个服务节点上去查看，这给我们造成了很大的困扰和不便，所以，我们应该把这些日志文件归集到一个地方去统一管理。

2、概要

ELK是elasticsearch、Logstash和Kibana三个系统的首字母组合。当然ELK不只是查看日志功能这么简单，还有更多的应用。

2.1）Elasticsearch：

是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

2.2）Logstash：

是一个动态数据收集管道，具有可扩展的插件生态系统和强大的Elasticsearch协同作用

2.3）Kibana：

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

1565350700(1).jpg

3、ELK的工作流程

在需要收集日志的节点上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到MQ缓冲，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，最后通过kibana进行UI展示查询。这样一个通用的分布式的日志收集流程就完成了。当然，在我们的服务日志量不是很大的情况下，我们也可以去掉MQ缓冲，直接将logstash的output指向要存储的ElasticSearch上即可。

4、演变

4.1）

ELK部署最简单的方式就是L-E-K方式，不添加任何其他辅助系统，部署简单快速，容易上手。

1565350786(1).jpg

4.2）

在L-E之间添加一层redis辅助，这样能够减少日志在服务端的积压，把压力转移到ELK系统服务器上。这种方式添加redis之后，由于redis是内存系统所以响应速度很快，而且可以在redis后添加多个消费系统（Logstash），来扩展消费能力，增强处理速度。

1565350825(1).jpg

4.3）

当数据量随着业务增长，reids已经不能满足业务需求了，取而代之的是更可靠的消息中间件（kafka、racket等等）
图略