FK-ELK日志架构系列1：总体设计架构

FK-ELK日志架构系列，即Fluentd（Filebeat） -> Kafka -> Logstash -> Elasticsearch -> Kibana。

该系列后续会不断完善架构及部署和配置过程。目前该套日志架构是部署在K8S之上的，所以主要介绍容器的部署及配置。

该系列目录：

1. 日志采集（docker）：Fluentd的部署及配置
2. 日志采集（VM）：Filebeat的部署及配置
3. 日志转发：Kafka的部署及配置
4. 日志消费：Logstash的部署及配置
5. 日志存储：ES的部署及配置
6. 日志展示：Kibana的部署及配置

1. 总体架构图

2. 总体架构说明

采集层：docker容器日志采用Fluentd，VM日志采用Filebeat

收集层：kafka + ZK

消费层：Logstash

存储层：ES（实时数据） + HDFS（历史数据）

展现层：Kibana

 

后续会对各层的设计及部署进行详细的介绍，如果你感兴趣的话，可以留言，一起交流学习。