Elk-filebeat
前言
Elk：filebeat搜集日志工具和logstash相同
Filebeat是一个轻量级的日志收集工具，所使用的资源比logstash部署和启动时使用的资源更小
Filebeat可以运行在非Java环境，他可以代理logstash在非Java环境上收集日志
Filebeat无法实现数据的过滤，一般是结合logstash的数据过滤功能一块使用
Filebeat收集的数据可以发往多个主机，远程收集
核心图：
本地采集：
实验环境：
在elk的基础上新加一台虚拟机，安装filebeat
安装filebeat
修改默认路径
做时间同步
yum install ntpdate -y
ntpdate ntp.aliyun.com
安装Nginx和httpd
验证
如何直接收集nginx日志
配置filebeat：
路径
注释（elasticsearch outputs）
取消注释（打开logsttash output）
创建目录
写一个脚本
为了实验效果，添加一个标准输出
开始收集，发送
Nohup表示在后台记录执行命令的过程
./filebeat运行文件
-e使用标准输出的同时进行syslog文件输出
-c指定配置文件
执行过程输出到filebeat.out这个文件当中。&表示后台运行
查看是否报错：successful表示成功
开启logstash收集，接收
访问测试（多刷几遍，以防收集不到，404也多刷几遍）访问呢错误日志，以便观察
Logstash收集日志的过程：
Input（从哪里收集）
Filebeat（过滤）
Output（发送ES实例）
远程收集，远程收集多个日志
打开数据库的日志功能
表中插入一些数据（便于实验效果查看）
安装一个nginx和一个http
添加一些访问内容，访问测试
开始收集日志准备
多余的注释信息全部删掉
Nginx模块
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
- /var/log/nginx/error.log
tags: ["nginx_54"]
fields:
service_name: 20.0.0.54_nginx
log_type: nginx
from: 20.0.0.54
http模块
- type: log
enabled: true
paths:
- /etc/httpd/logs/access_log
- /etc/httpd/logs/error_log
tags: ["httpd_54"]
fields:
service_name: 20.0.0.54_httpd
log_type: httpd
from: 20.0.0.54
Mysql模块
- type: log
enabled: true
paths:
- /usr/local/mysql/data/mysql_general.log
tags: ["mysql_54"]
fields:
service_name: 20.0.0.54_mysqld
log_type: mysql
from: 20.0.0.54
注意：把这个三个的tags改一下（tags做一下区分）
总览图：
格式要对齐，要一模一样，一个符号都不能差
取消注释
回到elk收日志，便于查看是否命中，可以加上方框那一行，可以不加
input {
beats { port => "5045" }
}
output {
if "nginx_54" in [tags] {
elasticsearch {
hosts => ["20.0.0.52:9200","20.0.0.53:9200"]
index =>"%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
if "httpd_54" in [tags] {
elasticsearch {
hosts => ["20.0.0.52:9200","20.0.0.53:9200"]
index =>"%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
if "mysql_54" in [tags] {
elasticsearch {
hosts => ["20.0.0.52:9200","20.0.0.53:9200"]
index =>"%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
stdout {
codec => rubydebug
}
}
启动，后台运行，开始传送
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
打开filebeat日志，便于观察
Logstash启动运行，收集日志
logstash -f nginx_54.conf --path.data /opt/test12&
涉及改端口问题
Logstash可以使用任意端口，只要没被在占用，都可以使用，推荐从1024之后开始使用
5044
5045
5046
改端口
ES查看
如何对logstash性能上的优化（小优化）：
Logstash启动是在Jam虚拟机当中启动，启动一次至少要占500M内存
Pipeline.workers:2
Logstash的工作线程，默认就是CPU数，4 2 8 4给一半即可，2核，2个
一次性可以处理检索事件的大小125条数，200
查询更新的延时，50毫秒，也可以自行调整，生产中一般都是15 10毫秒