ELK日志分析系统之(Filebeat 收集Nginx日志并写入 Kafka 缓存发送至Elasticsearch)
场景:与redis作为缓存服务器相比,虽然利用redis可以实现elasticsearch缓存功能,减轻elasticsearch的压力,但不支持的redis集群,存在单点问题,故利用kafka代替redis,且支持kafka集群,消除单点故障隐患,同时利用kafka缓存日志数据,解决应用解耦,异步消息,流量削锋等问题大致流程:将nginx服务器(web-filebeat)的日志通过filebea