日志采集框架filebeat

日志采集框架

1 filebeat和logstash比较

filebeat比logstash更小巧,更简洁一些,但是功能上logstash更强大

logstash(用java编写的)用于ELK中,也是用来采集传输数据的,比较浪费资源。完全可以将logstash替换为filebeat,形式EFK体系。

filebeat(elastic公司)特点

(1)异常中断重启后会继续上次停止的位置(通过${filebeat_home}\data\registry文件来记录日志的偏移量)
如果昨天监控了,今天filebeat异常中断后,不能再监控昨天监控的日志了,会从中断时监控到的日志文件位置继续监控。
(2)压力敏感协议传输数据,当要接收方忙的时候,filebeat会减慢读取-传输速度,接收方恢复正常,filebeat传输速度会变正常。
(3)filebeat监控apache的(auditd,Apache,Nginx,System,mysql),由于apache的日志格式都是类似的,有info error等,可以监控不是自家的日志。

2 filebeat介绍

filebeat是一种轻量级日志采集器,占用资源很少,内置有很多模块(auditd、Apache、NGINX、System、MySql等),可针对常见格式的日志大大简化收集、解析和可视化过程,只需一条命令即可。
根据采集形式的不同,形成了多个模块组成的Beats,Beats是开源数据传输数据集。Beats组成模块如下:
日志采集框架filebeat_第1张图片

3 日志采集流程图

日志采集框架filebeat_第2张图片
现在有3台机器上的某些数据需要采集传输:
(1)3台机器上分别安装1个logstash,最后将3台机器logstash收集的数据,都传输到es或es集群中,再由kibana展示。
(2)3台机器上分别安装1个filebeat,最后将3台机器filebeat收集的数据,都传输到同一个logstash中,由logstash对数据进一步的过滤、清洗等处理后,再传输到es或es集群中,再由kibana展示。 推荐使用
如果没有对数据进行进一步过滤、清洗操作,可将3台机器filebeat收集的数据,直接传输到es或es集群中。 推荐使用

4 安装部署filebeat

如果使用EFK时,es、filebeat和kibana的版本尽量保持一致,版本不一致可能导致传输数据失败的情况。

你可能感兴趣的:(linux,日志采集框架,服务器,linux,elasticsearch,filebeat,logstash)