ELK架构

一、Logstash + elasticsearch + Kibana

    首先由Logstash分布于各个节点上搜集相关日志、数据，并经过分析、过滤后发送给远端服务器上elasticsearch 进行存储。elasticsearch 将数据以分片的形式压缩存储并提供多种API供用户查询，操作。用户也可以直观的通过配置Kibana Web Portal方便的对日志进行查询，并根据数据生成报表。

    

优点：搭建简单，易于上手。
缺点：logstash小号资源大，运行占用CPU和内存高，另外没有消息队列缓存，存在数据丢失隐患。

二、Logstash + elasticsearch + Kibana +Kafka

   这种架构引入了消息队列机制，位于各个节点上的Logstash先将数据/日志传递Kafka(或者Redis),并将队列中消息或数据间接传递给Logstash，Logstash过滤、分析后将数据传递给elasticsearch存储。最后由Kibana将数据和日志呈现给用户。因为引入了Kafka(或者Redis),所以即使远端Logstash 因故障停止运行，数据将会被保存下来，从而避免数据丢失。

优点：引入了消息队列，均衡了网络传输，从而降低了网络闭塞尤其是丢失数据的可能性。
缺点：依然存在Logstash占用系统资源过多的问题。

三、FileBeat+Logstash + elasticsearch + Kibana

      此种架构将收集端logstash替换为beats，更灵活，消耗资源更少，扩展性更强。同时可配置logstash和Elasticsearch集群用于支持大集群系统的运维日志数据监控和查询。