云事业群CTO线技术晋升考核机试题-分布式专题-E 分布式日志采集

2023年(Q3财年)技术部门CTO线技术人员晋升考核机试题

分布式篇-E 分布式日志采集

*参考答案*

出题人:湖北TL田超凡
答案制定:湖北TL田超凡

*****试卷启用前绝密****

1 传统日志采集存在哪些问题

答:在传统项目的生产环境中,服务器集群中存在多个不同的服务器,当生产环境需要根据服务器日志发现和定位问题的时候,只能在每台服务器上基于传统命令的方式依次查询日志,效率低下;尤其是当服务器集群中的服务器数量比较多的情况下,这种日志检索的效率非常低。

2 ELK的基本概念及其组成部分

答:

ELK的基本概念:

ELK是一种主流的分布式日志采集解决方案,ELK指的是ElasticSearch、LogStash、Kibana

ELK的组成部分:

ElasticSearch作为全文索引库,底层基于倒排索引算法存储和管理日志。

LogStash作用类似于搬运工,负责将服务器的日志搬运到ES中存储。

Kibana是ES的客户端图形化界面管理工具,开发者可以通过Kibana连接到ES实现全文日志检索和问题定位。

3 ELK的作用

答:ELK的作用是在分布式/微服务集群环境下,对每一台服务器上的日志进行统一的收集、存储和集中管理,并提供图形化管理界面方便开发者进行全文日志检索。

4 ELK实现分布式日志采集的实现原理

答:

  1. 每台服务器上都需要安装LogStash并完成基础配置
  2. 需要配置LogStash固定读取的某个日志文件
  3. LogStash接收到运行日志后进行解析,并转换为json格式输出到es
  4. ElasticSearch底层基于倒排索引机制存储和管理日志
  5. 开发者通过Kibana连接到ES实现全文日志检索和问题定位。

5 ELK为什么要整合Kafka

答:

  1. 在服务器集群环境下,当需要动态扩容的时候,每新增一台服务器就需要在新增的服务器上安装和配置一遍LogStash,步骤繁琐且效率低下。
  2. LogStash在读取服务器本地运行日志的时候,也会对磁盘IO的性能造成影响。

6 ELK整合Kafka实现分布式日志采集的实现原理

答:

  1. Springboot项目基于AOP代理技术拦截异常日志
  2. 将拦截的异常日志异步同步到kafka服务器端,注意一定是异步的形式,这样才能提高日志采集的效率。
  3. LogStash数据源作为kafka消费者订阅kafka服务器端,异步获取运行日志。
  4. LogStash将获取到的运行日志进行解析,转换成json格式输出到es
  5. ElasticSearch底层基于倒排索引机制存储和管理日志
  6. 开发者通过Kibana连接到ES实现全文日志检索和问题定位。

你可能感兴趣的:(分布式,J2EE,Java架构I,java-ee,分布式)