ELK stack权威指南知识结构整理阅读笔记

ELK stack阅读整理

1.ELK是什么

Logstash（收集）、Elasticsearch（存储+搜索）、Kibana（展示），我们将这三个组合起来的技术称之为ELK Stack，所以说ELK Stack指的是Elasticsearch(java)、Logstash(jruby)、Kibana技术栈的结合，一个通用的架构如下图所示：

ELK 前面主要靠Logstash来进行收集日志，Logstash将日志上传到Broker上，后面还有一个Logstash用来读取Broker中的日志，再将日志存储到Elasticsearch里面，最后Kibana从Elasticsearch中查询数据生成图表进行展示。(在实际运用中，Logstash进程分为两个不同的角色。运行在服务器上的尽量减轻运行压力，只做读取和转发，这个角色叫做Shipper；运行在独立的服务器上的完成数据解析处理，负责写入Elasticsearch的角色，叫Indexer。)

2.为什么用ELK

和传统的日志处理方案相比，Elastic Stack具有如下优点：

处理方式灵活：Elasticsearch是实时全文索引，不需要像storm那样预先编程才能使用；

配置简易上手：Elastisearch全部采用JSON接口，Logstash是RubyDSL设计，都是目前业界最通用的配置语法设计；

检索性能高效：虽然每次查询都是实时计算，但是优秀的设计和实现基本可以 达到全天数据查询的秒级响应；

集群线性扩展：不管是Elasticsearch 集群还是Logstash 集群都是可以线性扩展的；

前端操作炫丽：Kibana界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。

3.如何使用ELK

3.1 Logstash

3.1.1 Logstash简介

Logstash在架构中起到的作用是从每台服务器上的某个路径中的文件中收集数据，并且按照预先编写好的过滤规则来过滤数据，然后按照要求将日志传输到ES集群中.

3.1.2 Logstash工作流程

3.1.3 Logstash部署

Logstash根据logstash-example.conf配置文件对数据源进行数据读取和清洗，并将清洗结果写入指定的目标文件。

Logstash可以以命令行参数进行配置，也可以在logstash.yml等setting文件中进行设置。

3.1.4 Logstash知识结构

3.2 Elasticsearch

3.2.1 Elasticsearch简介

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

3.2.2 Elasticsearch工作流程

​

新收到的数据会被写入到内存的 buffer 中，然后在一定的时间间隔后刷到磁盘中，成为一个新的 segment，然后另外使用一个 commit 文件来记录所有的 segment，数据只有在成为 segment 之后才能被检索。默认的从 buffer 到 segment 的时间间隔是 1 秒（可以调用/_refresh接口更改）。

采用Translog 保证数据从 buffer 到 segment 的一致性，通过定期保存到磁盘中来实现Translog 的一致性。对于不断生成新的segment，ES 会在后台把零散的 segment 做数据归并，归并完成后删除小的 segment，从而减少 segment 的数量；也会采用不同的归并策略，尽量让每次新生成的 segment 本身就比较大。

3.2.3 Elasticsearch部署

为了提高Elasticsearch性能可以通过elasticsearch.yml文件修改配置参数，也可以根据用户系统配置降低配置参数，如jvm.heapsize。

3.2.4 Elasticsearch知识结构

3.3 Kibana

3.2.1 Kibana简介

Kibana是一个开源的分析与可视化平台。可以用来搜索、查看、交互存放在Elasticsearch索引里的数据，并使用各种不同的图表、表格、地图等对数据进行分析和可视化。

Kibana3是一个使用Apache开源协议，基于浏览器的Elasticsearch分析和搜索的仪表板，整个项目基于HTML和Javascript写的，不需要任何服务器端组件，一个纯文本发布服务器即可。

Kibana4中Discover标签页可以提交搜索请求，过滤结果，然后检查返回的文档里的数据，默认情况下，Discover显示匹配搜索条件的500个文档。Visualization 用来为搜索结果做可视化，每个可视化都是跟一个搜索关联着的。Dashboard 创建、定制自己的仪表盘。任何需要展示的数据都需要现在 Settings 中进行索引配置，可以选择配置时间索引，这样在 Discover 页面会多出来时间的选项。

3.2.2 Kibana部署

Kibana3中config.js核心配置的地方，文件包含的参数都是必须在初次运行Kibana之前提前设置好的。

Kibana4启动,在安装目录运行：

$bin/kibana (Linux/Mac OS X)

$bin\kibana.bat (Windows)

配置可以通过命令行参数或配置文件kibana.yml。

3.2.3 Kibana知识结构

参考书籍《ELK stack权威指南》http://www.jianshu.com/p/666c662f0068

​