filebeat 日志采集系统概念和基础配置
参考资料
- https://www.bilibili.com/video/BV1WK41117dA
- https://www.elastic.co/cn/beats/filebeat
filebeat概述
es提供了众多的beat模块用于数据采集，filebeat用于采集日志
| 日志格式 | 组件框架 |
|---|---|
| Audit data | Auditbeat（轻量审计日志采集） |
| Log files | Filebeat（轻量日志采集器） |
| Availability | HeartBeat（轻量运行时间监控采集器） |
| Metrics | Metricbeat（轻量指标采集器） |
| Network traffic | Packetbeat（轻量网路数据采集） |
| Windows event logs | Winlogbeat（轻量Windows事件日志采集） |
filebeat的特点
-
轻量型日志采集器，占用资源更少，对机器配置要求极低
-
操作简便，可将采集到的日志信息直接发送到ES集群、Logstash、Kafka集群等消息队列中
-
异常中断重启后会继续上次停止的位置。（通过${filebeat home}data registry文件来记录日志的偏移量）
-
使用压力敏感协议（backpressure-sensitive）来传输数据，在logstash忙的时候，Filebeat会减慢读取/传输速度，等到logstash恢复则Filebeat恢复原来的速度。
-
Filebeat带有内部模块（auditd，Apache，Nginx，System 和 MySQL），可通过个指定命令来简化通用日志格式的收集，解析和可视化。
bin/logstash -e 'input { stdin{} } output { stdout{} }'
对比logstash和filebeat
- Filebeat与Logstash相比，其占用空间小，使用的系统资源更少
- Logstash具有更大的占用空间，但提供了大量的输入，过滤和输出插件，用于收集，丰富和转换来自各种来源的数据
- Logstash是使用Java编写，插件是使用jruby编写，对机器的资源要求会比较高。在采集日志方面，对CPU、内存上都要比Filebeat高很多
filebeat安装
Filebeat本身对资源和性能要求不高。采集数据后采用的Http请求发送的数据也不要求运行环境。
https://www.elastic.co/cn/beats/filebeat
查看默认配置文件
- 默认filebeat输入为关闭状态，获取/var/log的系统日志文件
- 默认输出为elasticsearch
$ cd filebeat-8.7.0-linux-x86_64
$ grep -Ev "^$|[#;]" filebeat.yml
filebeat.inputs:
- type: filestream
id: my-filestream-id
enabled: false
paths:
- /var/log/*.log
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
setup.kibana:
output.elasticsearch:
hosts: ["localhost:9200"]
processors:
- add_host_metadata:
when.not.contains.tags: forwarded
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
配置input
https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html
配置output
https://www.elastic.co/guide/en/beats/filebeat/current/configuring-output.html
开启输入并将输入设置为console（需要注释掉es的输出，因为只能定义单个输出），启动测试
sudo ./filebeat -e -c filebeat.yml
filebeat对接logstash
安装logstash
https://www.elastic.co/cn/downloads/logstash
配置logstash接收nginx日志
# cat /var/log/nginx/access.log
127.0.0.1 - - [02/Apr/2023:15:19:57 +0000] "GET / HTTP/1.1" 200 615 "-" "curl/7.79.1" "-"
127.0.0.1 - - [02/Apr/2023:15:20:09 +0000] "GET / HTTP/1.1" 200 615 "-" "curl/7.79.1" "-"
创建logstash配置文件如下
$ vim job/filebeat_to_logstash.conf
input {
beats {
port=>5044
codec=>plain{
charset=>"GBK"
}
}
}
filter {
}
output {
stdout {
codec=>rubydebug
}
}
修改filebeat配置文件
output.logstash:
# The Logstash hosts
hosts: ["localhost:5044"]
logstash获取到日志如下
{
"event" => {
"original" => "127.0.0.1 - - [02/Apr/2023:15:27:30 +0000] \"GET / HTTP/1.1\" 200 615 \"-\" \"curl/7.79.1\" \"-\""
},
"ecs" => {
"version" => "8.0.0"
},
...
"@timestamp" => 2023-04-02T15:27:31.880Z,
"@version" => "1",
"log" => {
"file" => {
"path" => "/var/log/nginx/access.log"
},
"offset" => 630
},
"tags" => [
[0] "beats_input_codec_plain_applied"
]
}
此外可以通过module预置的模块自动监控和解析日志
设置filebeat配置文件开启模块
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: true
开启模块，模块的具体配置可以参考官网示例
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-module-nginx.html
$ mv modules.d/nginx.yml.disabled modules.d/nginx.yml
$ vim modules.d/nginx.yml
- module: nginx
access:
enabled: true
var.paths: ["/var/log/nginx/access.log*"]
error:
enabled: true
var.paths: ["/var/log/nginx/error.log*"]
也可以绕过logstash直接将output设置为es，例如以下output配置
https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html
output.elasticsearch:
hosts: ["http://localhost:9200"]
indices:
- index: "warning-%{[agent.version]}-%{+yyyy.MM.dd}"
when.contains:
message: "WARN"
- index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
when.contains:
message: "ERR"