filebeat+ELK+kafka集群搭建（一：简介）

环境介绍：

安装软件	主机名	IP地址	系统版本
Elasticsearch5.6/zookeeper2.11-1.1.0/kafka_2.11-1.1.0	es-1	192.168.205.155	centos7.5.1804
Elasticsearch5.6/zookeeper2.11-1.1.0/kafka_2.11-1.1.0	es-2	192.168.205.156	centos7.5.1804
Elasticsearch5.6/zookeeper2.11-1.1.0/kafka_2.11-1.1.0	es-3	192.168.205.157	centos7.5.1804
Logstash5.6.9	logstash	192.168.205.152	centos7.5.1804
kibana5.6.9	kibana	192.168.205.161	centos7.5.1804
Filebeat5.6.7	filebeat	192.168.205.152	centos7.5.1804

搭建架构：

相关地址：

官网地址：https://www.elastic.co

官网搭建：https://www.elastic.co/guide/index.html

Kafka集群搭建：http://blog.51cto.com/seekerwolf/2095137

各组件介绍

Elasticsearch:

  是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

Logstash:

  主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。

Kibana:

  是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持。

Kafka：

• 1.发布和订阅记录流，类似于消息队列或企业消息传递系统。
• 2.以容错持久的方式存储记录流。
• 3.处理记录发生的流。

Filebeat: 隶属于Beats。目前Beats包含四种工具：

• 1.Packetbeat（搜集网络流量数据）
• 2.Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据。通过从操作系统和服务收集指标，帮助您监控服务器及其托管的服务。）
• 3.Filebeat（搜集文件数据）
• 4.Winlogbeat（搜集 Windows 事件日志数据）

安装部署详见：

filebeat+ELK+kafka集群搭建（二：filebeat部署）
filebeat+ELK+kafka集群搭建（三：kafka集群部署）
filebeat+ELK+kafka集群搭建（四：logstash部署）
filebeat+ELK+kafka集群搭建（五：Elasticsearch集群部署）
filebeat+ELK+kafka集群搭建（六：kibana部署）