ELK日志管理平台

一、企业中的日志

日志主要包括系统日志、应用程序日志和安全日志。每条日志都记载着时间戳、主机名、使用者及操作行为等相关的描述，系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，及时分析问题、追查错误根源纠正错误。
 


在大数据时代，日志数量巨大，种类多样化，企业数据就如同一座亟待开发的金矿；日志的统计和检索的难度加大，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
 

二、日志的集中管理

过去，日志被分散的储存各台服务器上，没有集中管理，难以做关联分析，甚至被删除。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，将所有服务器上的日志收集汇总。
 

三、强大的ELK日志管理

ELK是一款开源的海量日志搜索分析平台，能够完美的解决我们上述的问题，对日志进行集中采集和实时索引，提供实时搜索、分析、可视化、报警等功能，帮助企业在统一平台实时管理日志数据，进行线上业务实时监控、异常原因定位、数据统计分析。ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站： https://www.elastic.co/products

1．ELK工作的原理图：

 

 
Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。

2．ELK的三大组成部份

Elasticsearch是个开源分布式实时搜索引擎，负责数据的实时分析、实时检索、海量存储。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
 
Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤、解析。Logstash支持40多种输入源、30种日志格式的自动解析、50多种输出源，把日志从非结构化数据转化成结构化数据，方便分析。
 
 
Kibana 也是一个开源和免费的工具，负责web方式的前端展现。Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。ELK支持全文索引，用户可以像使用搜索引擎一样查询日志，简单操作即可查看几秒钟之前产生的日志信息。Kibana拥有强大的数据可视化功能，灵活的报表制作、丰富的代表盘让日志信息一目了然。