实时日志分析作为掌握业务情况、故障分析排查的一个重要手段,目前使用最多最成熟的莫过于ELK方案,整体方案也有各种架构组合,像(Rsyslog/filebeat/...)->Elastic->Kibana(Rsyslog/filebeat/...)->Redis->Logstash->Elastic->Kibana(Rsyslog/filebeat/...)->Kafka->Logstash->Elastic->Kibana等等,复杂点的有Spark的引用,再复杂点的引入Hadoop系列。每种方案适合不同的应用场景,没有优劣之分,我目前用的是Rsyslog->kafka->(Logstash/Spark)->Elastic->KibanaRsyslog->Rsyslog中继->Kafka->(Logstash/spark)->Elastic->Kibana方案,中间使用Spark对日志进行再次聚合。

从整体架构进行抽象总结,其实就是采集->清洗->索引->展现四个环节,再去考虑各环节中间缓存、队列的使用,然后每个环节用不同的软件工具来实现。下面介绍一下我目前方案集群的搭建和配置。希望对同行有所帮助,在ELK探索过程中多谢远川和冯超同学的奉献交流,常用的一个架构图如下:

 .............

浏览全部请点击运维网咖社:玩儿透围绕ELK体系大型日志分析集群方案设计.搭建.调优.管理