elk之filebeat+elasticsearch+kibana

软件:

jdk1.8.0_191 需要设置JAVA_HOME PATH, es会用到

elasticsearch-6.4.2 数据存储及查询

kibana-6.4.2-linux-x86_64 数据可视化

filebeat-6.4.2-linux-x86_64 日志收集 优点:轻量 断点续传

没有使用logstash 因为占用资源比较多,

使用filebeat读取apache log或其他log, 几乎不占资源,  考虑在日志生产的机器上只安装filebeat, 这样比较轻

日志发送路线

filebeat -> elasticsearch ->kibana

 

目前问题:

传递的log信息格式化不太好, 1是不是有filebeat设置项 2考虑在filebeat和es之间加入logstash

大访问量情况下可能造成elasticsearch 阻塞, 前面加入kafka限流

每个软件都集群化,

监控每个软件的运行状态