ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍(一)

笔者接触到ELK是由于公司项目采用微服务架构,这样在部署时各个服务需要在不同机器上,而且每个服务部署好几份,这个时候日志到收集就是问题了,不能像之前那样单体应用都在一个机器,可以直接登录查看,所以就开始去了解ELK,最后用ELK+Kafka来完成日志收集处理并展现,而且ELK在大数据行业应用也很广泛。

一、ELK介绍

ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。

 

Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎,主要负责将日志索引并存储起来,方便业务方检索查询。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash是一个日志收集、过滤、转发的中间件,主要负责将各条业务线的各类日志统一收集、过滤后,转发给 Elasticsearch 进行下一步处理。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana是一个可视化工具,也是一个开源和免费的,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。

Filebeat隶属于Beats。目前Beats包含四种工具:

1、Packetbeat(搜集网络流量数据)

2、Topbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据

3、Filebeat(搜集文件数据)

4、Winlogbeat(搜集 Windows 事件日志数据)

官方文档:

Filebeat:

https://www.elastic.co/cn/products/beats/filebeat

https://www.elastic.co/guide/en/beats/filebeat/5.6/index.html

Logstash:

https://www.elastic.co/cn/products/logstash

https://www.elastic.co/guide/en/logstash/5.6/index.html

Kibana:

https://www.elastic.co/cn/products/kibana

https://www.elastic.co/guide/en/kibana/5.5/index.html

Elasticsearch:

https://www.elastic.co/cn/products/elasticsearch

https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index.html

elasticsearch中文社区:

https://elasticsearch.cn/

部分资料来源:

elk原理:https://www.cnblogs.com/aresxin/p/8035137.html

笔者ELK相关文章:

ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍(一):https://blog.csdn.net/zjh_746140129/article/details/86483318

Linux安装ELK、elasticsearch部署安装(二):https://blog.csdn.net/zjh_746140129/article/details/86483661

Linux安装ELK、logstash部署安装(三):https://blog.csdn.net/zjh_746140129/article/details/86484586

Linux安装ELK、kibana部署安装(四):https://blog.csdn.net/zjh_746140129/article/details/86484862

ELK启动报错:OpenJDK 64-Bit Server VM warning:https://blog.csdn.net/zjh_746140129/article/details/86601574

ELK常见错误问题、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200:https://blog.csdn.net/zjh_746140129/article/details/86601791

 

二、ELK架构体系

架构图一:

ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍(一)_第1张图片

这是最简单的一种ELK架构方式。优点是搭建简单,易于上手。缺点是Logstash耗资源较大,运行占用CPU和内存高。另外没有消息队列缓存,存在数据丢失隐患。

此架构由Logstash分布于各个节点上搜集相关日志、数据,并经过分析、过滤后发送给远端服务器上的Elasticsearch进行存储。Elasticsearch将数据以分片的形式压缩存储并提供多种API供用户查询,操作。用户亦可以更直观的通过配置Kibana Web方便的对日志查询,并根据数据生成报表。

架构图二:

ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍(一)_第2张图片

此种架构引入了消息队列机制,位于各个节点上的Logstash Agent先将数据/日志传递给Kafka(或者Redis),并将队列中消息或数据间接传递给Logstash,Logstash过滤、分析后将数据传递给Elasticsearch存储。最后由Kibana将日志和数据呈现给用户。因为引入了Kafka(或者Redis),所以即使远端Logstash server因故障停止运行,数据将会先被存储下来,从而避免数据丢失。

架构图三:

ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍(一)_第3张图片

此种架构将收集端logstash替换为beats,更灵活,消耗资源更少,扩展性更强。同时可配置Logstash 和Elasticsearch 集群用于支持大集群系统的运维日志数据监控和查询。

 

三、ELK运行原理

笔者现在使用了微服务架构,应用流程如下:使用log4j的appender向kafka的topic发送日志信息,同时也记录了文本文件,logstash收到kafka的数据存储起来过滤后交给elasticsearch拿去建立索引分析、检索,最后kibana的web页面来搜索日志、分析出图表等。

 

 

四、ELK应用场景

1、分布式部署项目,需要收集日志。

2、微服务架构项目,收集各个服务的日志。

3、大数据行业。

 

 

五、ELK安装部署集成

ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍(一):https://blog.csdn.net/zjh_746140129/article/details/86483318

Linux安装ELK、elasticsearch部署安装(二):https://blog.csdn.net/zjh_746140129/article/details/86483661

Linux安装ELK、logstash部署安装(三):https://blog.csdn.net/zjh_746140129/article/details/86484586

Linux安装ELK、kibana部署安装(四):https://blog.csdn.net/zjh_746140129/article/details/86484862

微服务整合ELK、Kafka搭建日志系统

 

 

你可能感兴趣的:(elk,kafka,分布式,微服务)