搭建基于ELK的日志管理平台

项目背景

在生产环境中，日志扮演着很重要的角色，异常问题需要日志、性能优化需要日志、业务排查需要日志。
然而，随着业务系统微服务化改造、应用云化部署，服务间的接口调用更加复杂，并且日志以碎片化的形式散落在不同服务器的不同文件中。 当要排查问题时，需要在服务器上查询分析日志，而面对如此庞大的日志量，常规的运维手段难以支撑，对运维人员进行日志分析造成很大困扰，难以对齐业务保障的要求。

技术方案

针对日志量大、问题定位困难等问题，迫切需要对日志集中化管理，收集所有服务器上的应用程序日志。因此，需要制定了应用程序日志接入ELK规范，配合搭建了ELK新集群，并积极推动业务系统接入了统一日志管理平台。全面应用于运维生产，极大提升了运维分析效率和日志数据价值。

ELK是三个开源组件的缩写，分别为：Elasticsearch 、 Logstash、Kibana , 是目前最常用的日志平台构建方案。新增组件Beats，是一个轻量级的日志收集处理工具，本方案采用的是Filebeat。
ELK日志平台可以实时日志的收集、存储、展示等一站式的解决方案，通过实时数据分析，可定制化监控仪表盘，以及异常日志推送告警。

构建方案

应用程序日志接入ELK统一日志管理平台，主要包括三个环节：日志输出、日志收集、统一日志管理，其中统一日志管理使用Kafka对日志缓存管理，由Logstash对日志数据过滤及解析，处理结果通过ElasticSearch入库，最后通过Kibana进行可视化呈现。
三个环节分别对应的相关方为：业务系统研发方、业务系统运维/容器云平台运维方、ELK平台运维方。