filebeat日志收集工具

elk:filebeat日志收集工具和logstash相同

filebeat是一个轻量级的日志收集工具,所使用的系统资源比logstash部署和启动时使用的资源要小得多

filebeat可以运行在非Java环境,它可以代理logstash在非Java环境上收集日志

filebeat无法实现数据的过滤,一般是结合logstash的数据过源功能一块使用

filebeat收集的数据可以发往多个主机。远程收集

filebeat日志收集工具_第1张图片

四台一起

tar -xf filebeat-6.7.2-linux-x86_64.tar.gz

yum install ntpdate -y

ntpdate ntp.aliyun.com

elk1

filebeat日志收集工具_第2张图片

100dd

filebeat日志收集工具_第3张图片

filebeat日志收集工具_第4张图片

filebeat日志收集工具_第5张图片

filebeat日志收集工具_第6张图片

filebeat日志收集工具_第7张图片

filebeat日志收集工具_第8张图片

filebeat日志收集工具_第9张图片

nohup 表示在后台记录执行命令的过程

/filebeat 运行文件

-e 使用标准输出的同时进行syslog文件输出

-c 指定配置文件

filebeat日志收集工具_第10张图片

filebeat日志收集工具_第11张图片

logstash收集日志的过程

input (从哪里收集)

filter(过滤)

output (发送es实例)

本地收集

远程收集,远程收集多个日志。

mysql

filebeat日志收集工具_第12张图片

filebeat日志收集工具_第13张图片

yum -y install nginx和httpd

filebeat日志收集工具_第14张图片

filebeat日志收集工具_第15张图片

filebeat日志收集工具_第16张图片

filebeat日志收集工具_第17张图片

filebeat日志收集工具_第18张图片

filebeat日志收集工具_第19张图片

filebeat日志收集工具_第20张图片

filebeat日志收集工具_第21张图片

filebeat日志收集工具_第22张图片

filebeat日志收集工具_第23张图片

elk1

filebeat日志收集工具_第24张图片

mysql

xxxxxxxx.out

logstash可以使用任意端口,只要没被占用都可以使用,推荐从1024之后开始

logstash 性能上的优化: logstash启动是在jvm虚拟机当中其中,启动一次至少500M内存

pipeline.workers: 2

logstash的工作线程,默认值就是cpu数,4 2 8 4给一半即可

pipeline.batch.size: 125

一次性能够批量检索事件的大小 125条

pipeline.batchdelay: 50

查询更新的延迟。50毫秒,也可以自行调整。15 10 也要看机器性能

你可能感兴趣的:(linux,运维,服务器)