elk日志管理 概念简介

 

一、概念描述：

filebaet 

1. 轻量级的日志收集和传输工具，当有数百万，数千万台机器时，filebaet可以轻松地转发和集中日志或文件。
2. 健壮性，Filebaet在读取和转发日志的过程中，如果被中断，会计入当前位置，当重新开始时，会从中断的位置开始
3. 简单模块化，内置模块apache，nginx，mysql，system，auditd等。
4. 压力敏感协议，当logstash数据处理繁忙时，会放慢自己的读取速度。

   工作流程：当开启filebeat时，F会启动一个或多个探测器，去你指定的目录下找出符合你设定的日志或文件。此时F会启动harvester去读取日志的内容，每当有新的日志产生或者日志中有新的内容产生时，讲这些日志数据发送到处理程序，处理程序对这些日志进行集合，发送给你所制定的地点

logstash

1. 开源数据收集引擎，具备实时传输能力，可以统一过滤不同源的数据，并输送到制定的目的地，依赖于jdk
2. 支持正则表达式，可以对数据进行有规则的收集和过滤，变成可读性高的内容
3. logstash由三个元素组成，输入input，输出output，过滤器filters

elasticsearch

1. 开源的搜索引擎，E使用java编写，内部使用Apache Lucene做索引与搜索，依赖jdk
2. 分布式的实时的文档存储，每一个阶段都可以被索引和搜索
3. 分布式的实时分析搜索引擎
4. 可接受上百台服务器节点的扩展，支持PB级别的结构化或者非结构化的数据

kibana

1. 是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的
2. Grafana是 Graphite 和 InfluxDB 表盘和图形编辑器。Grafana 是开源的，功能齐全的度量仪表盘和图形编辑器，支持 Graphite，InfluxDB 和 OpenTSDB。Grafana 主要特性：灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式；多个数据源；Graphite 和 InfluxDB 查询编辑器等等

附 kibana 汉化包下载链接 https://codeload.github.com/anbai-inc/Kibana_Hanization/zip/master 感谢汉化作者anbai