elk日志管理 概念简介

 

一、概念描述:

filebaet 

  1. 轻量级的日志收集和传输工具,当有数百万,数千万台机器时,filebaet可以轻松地转发和集中日志或文件。
  2. 健壮性,Filebaet在读取和转发日志的过程中,如果被中断,会计入当前位置,当重新开始时,会从中断的位置开始
  3. 简单模块化,内置模块apache,nginx,mysql,system,auditd等。
  4. 压力敏感协议,当logstash数据处理繁忙时,会放慢自己的读取速度。

   工作流程:当开启filebeat时,F会启动一个或多个探测器,去你指定的目录下找出符合你设定的日志或文件。此时F会启动harvester去读取日志的内容,每当有新的日志产生或者日志中有新的内容产生时,讲这些日志数据发送到处理程序,处理程序对这些日志进行集合,发送给你所制定的地点

logstash

  1. 开源数据收集引擎,具备实时传输能力,可以统一过滤不同源的数据,并输送到制定的目的地,依赖于jdk
  2. 支持正则表达式,可以对数据进行有规则的收集和过滤,变成可读性高的内容
  3. logstash由三个元素组成,输入input,输出output,过滤器filters

elasticsearch

  1. 开源的搜索引擎,E使用java编写,内部使用Apache Lucene做索引与搜索,依赖jdk
  2. 分布式的实时的文档存储,每一个阶段都可以被索引和搜索
  3. 分布式的实时分析搜索引擎
  4. 可接受上百台服务器节点的扩展,支持PB级别的结构化或者非结构化的数据

kibana

  1. 是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的
  2. Grafana是 Graphite 和 InfluxDB 表盘和图形编辑器。Grafana 是开源的,功能齐全的度量仪表盘和图形编辑器,支持 Graphite,InfluxDB 和 OpenTSDB。Grafana 主要特性:灵活丰富的图形化选项;可以混合多种风格;支持白天和夜间模式;多个数据源;Graphite 和 InfluxDB 查询编辑器等等

附 kibana 汉化包下载链接 https://codeload.github.com/anbai-inc/Kibana_Hanization/zip/master 感谢汉化作者anbai

你可能感兴趣的:(elk)