Filebeat安装使用
一、安装
# 下载软件包
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.13.2-linux-x86_64.tar.gz
#解压
tar xf filebeat-7.13.2-linux-x86_64.tar.gz -C /mnt
mv filebeat-7.13.2-linux-x86_64 filebeat
# 做软连接
sudo ln -s /mnt/filebeat /usr/local/filebeat
1、编写配置文件
1.配置文件含义
filebeat.inputs: # 日志来源设置
- type: log
enabled: true # 是否收集此路径下面日志的开关
#为日志类型打标签
# tags: "nginx_log"
paths:
- /var/log/*.log
filebeat.config.modules: # 内置收集日志模块配置文件的存放路径
path: ${path.config}/modules.d/*.yml
reload.enabled: false # 配置文件有更改时是否自动加载
setup.template.settings:
index.number_of_shards: 1
output.console: #输出到屏幕
pretty: true
#setup.kibana:
#output.elasticsearch:
# hosts: ["localhost:9200"]
processors:
- add_host_metadata: #添加主机数据信息
when.not.contains.tags: forwarded
2.启动filebeat测试
sudo /usr/local/filebeat/filebeat -c /usr/local/filebeat/filebeat.yml
输出信息
{
"@timestamp": "2022-04-19T13:01:05.333Z",
"@metadata": {
"beat": "filebeat",
"type": "_doc",
"version": "7.13.2"
},
"log": {
"file": {
"path": "/tmp/access.log"
},
"offset": 602
},
"message": "111.172.170.33 - - [22/Nov/2015:12:01:01 +0800] \"GET /online/api/mc/order/detail.json?orderId=3507685 HTTP/1.1\" 200 6311 \"http://www.oldboyedu.com.cn/online/ppjonline/account/account.jsp\" \"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36\"",
"input": {
"type": "log"
},
"ecs": {
"version": "1.8.0"
},
"host": {
"id": "926b4085550e4fdbafce2eca8190679f",
"containerized": false,
"ip": [
"10.0.0.11",
"fe80::20c:29ff:fe13:612"
],
"mac": [
"00:0c:29:13:06:12"
],
"hostname": "filebeat",
"architecture": "x86_64",
"name": "filebeat",
"os": {
"version": "18.04.6 LTS (Bionic Beaver)",
"family": "debian",
"name": "Ubuntu",
"kernel": "4.15.0-175-generic",
"codename": "bionic",
"type": "linux",
"platform": "ubuntu"
}
},
"agent": {
"type": "filebeat",
"version": "7.13.2",
"hostname": "filebeat",
"ephemeral_id": "54ab1d1b-12e4-4c3f-93c8-fc64350e310f",
"id": "7bf9fc6b-483d-46f7-9303-8cb602580db4",
"name": "filebeat"
}
}
filebeat找不到配置文件时可以指定配置文件
./filebeat -c /usrlocal/filebeat/filebeat.yml
-e 将启动信息输出到屏幕上
filebeat进程日志
filebeat本身运行的日志默认位置${install_path}/logs/filebeat
要修改filebeat的日子路径，可以添加一下内容在filebeat.yml配置文件
#logging.level :debug 日志级别
path.logs: /var/log/
2、专用日志收集模块
查看可用的模块列表
$ sudo ./filebeat modules list
Enabled:
Disabled:
activemq
apache
auditd
aws
awsfargate
azure
barracuda
bluecoat
cef
checkpoint
cisco
coredns
crowdstrike
cyberark
cyberarkpas
cylance
elasticsearch
envoyproxy
f5
fortinet
gcp
google_workspace
googlecloud
gsuite
haproxy
ibmmq
icinga
iis
imperva
infoblox
iptables
juniper
kafka
kibana
logstash
microsoft
misp
mongodb
mssql
mysql
mysqlenterprise
nats
netflow
netscout
nginx
o365
okta
oracle
osquery
panw
pensando
postgresql
proofpoint
rabbitmq
radware
redis
santa
snort
snyk
sonicwall
sophos
squid
suricata
system
threatintel
tomcat
traefik
zeek
zoom
zscaler
模块配置文件保存位置
${install_path}/filebeat/modules.d/
ubuntu@filebeat:/usr/local/filebeat/modules.d$ ls
activemq.yml.disabled f5.yml.disabled misp.yml.disabled radware.yml.disabled
apache.yml.disabled fortinet.yml.disabled mongodb.yml.disabled redis.yml.disabled
auditd.yml.disabled gcp.yml.disabled mssql.yml.disabled santa.yml.disabled
awsfargate.yml.disabled googlecloud.yml.disabled mysqlenterprise.yml.disabled snort.yml.disabled
aws.yml.disabled google_workspace.yml.disabled mysql.yml.disabled snyk.yml.disabled
azure.yml.disabled gsuite.yml.disabled nats.yml.disabled sonicwall.yml.disabled
barracuda.yml.disabled haproxy.yml.disabled netflow.yml.disabled sophos.yml.disabled
bluecoat.yml.disabled ibmmq.yml.disabled netscout.yml.disabled squid.yml.disabled
cef.yml.disabled icinga.yml.disabled nginx.yml.disabled suricata.yml.disabled
checkpoint.yml.disabled iis.yml.disabled o365.yml.disabled system.yml.disabled
cisco.yml.disabled imperva.yml.disabled okta.yml.disabled threatintel.yml.disabled
coredns.yml.disabled infoblox.yml.disabled oracle.yml.disabled tomcat.yml.disabled
crowdstrike.yml.disabled iptables.yml.disabled osquery.yml.disabled traefik.yml.disabled
cyberarkpas.yml.disabled juniper.yml.disabled panw.yml.disabled zeek.yml.disabled
cyberark.yml.disabled kafka.yml.disabled pensando.yml.disabled zoom.yml.disabled
cylance.yml.disabled kibana.yml.disabled postgresql.yml.disabled zscaler.yml.disabled
elasticsearch.yml.disabled logstash.yml.disabled proofpoint.yml.disabled
envoyproxy.yml.disabled microsoft.yml.disabled rabbitmq.yml.disabled
3、示例模块nginx模块
启动nginx模块
sudo ./filebeat modules enable nginx
1.使用模板默认路径
- module: nginx
access:
enabled: true
error:
enabled: true
ingress_controller:
enabled: false
nginx模块配置收集日志的默认路径是
CentOS
/var/log/access.log*/var/log/error.log*
Ubuntu
/var/log/nginx/access.log*/var/log/nginx/error.log*
测试
2.nginx日志不在默认存储路径下时
var.paths:
- /data/nginx_log/access.log*
- /data/nginx_log/error.log*
如果不设置此项，filebeat将根据你的操作系统选择使用默认路径
注意：此种方式十一追加的方式和模块默认路径合并在一起的，也就是说使用了此种方式，nginx模块还是回去默认路径下查找。
3.配置ouput
filebeat是用于搜集日志，之后把日志推送到某个接受的系统中，这些系统或者装置在filebeat中称为output。
output类型
-
console终端屏幕 -
elasticsearch存放日志，并提供查询 -
logstash进一步对日志数据进行处理 -
kafia消息队列
完整的output列表在filebeat官方文档
filebeat在运行的时候，以上的output只可配置其中一种
输出到console
输出完整的json数据
output.console:
pretty: true
前台运行filebeat
sudo ./filebeat
如果只想输出完整json数据中的某些字段
output.console:
codec.format:
string: '%{[@timestamp]} %{[message]}'
其他输出目标:
输出到elasticsearch
output.elasticsearch:
hosts: ["http://es01:9200',"http://es02:9200"]
输出到 logstash
output.logstash :
hosts: ["127.0.0.1:5044"]
4、重读日志文件
有时候处于实验目的，可能需要重新读取日志文件，这个时候需要删除安装目录下的 data文件夹，重新运行filebeat即可。
[图片上传失败...(image-c04404-1650615591430)]
报错
假如出现如下报错，请删制除安装目录中的data文件夹
Exiting: data path already locked by another beat.Please make sure that multiple beats are notsharing the same data path (paty.data).
查看一下是否有一个进程已经处于运行状态，尝试杀死此进程，之后重新运行filebeat
5、使用Processors(处理器)过滤和增强数据(扩展部分)
可以在配置中定义处理器，以便在事件发送到配置的输出之前对其进行处理。libbeat库提供以下处理器∶
减少导出字段的数量
使用其他元数据增强事件
执行其他处理和解码
工作方式
每个处理器都接收一个事件，对该事件应用已定义的操作，然后返回该事件。如果定义
处理器列表，则将按照在Filebeat配置文件中定义的顺序执行它们。
去重日志中的某些行
配置位置在filebeat.yml文件中
删除所有以 DBG:开头的行
processors:
- drop_event:
when:
regexp:
message: "^DBG:" #message为自定义字段
像输出的信息中添加某些自定义字段
processors:
- add_fields:
target: project #要添加的自定义字段key名称
fields:
name: myproject
id: "574734885120952459"
从事件中删除某些字段
processors:
- drop_fields :
fields: ["field1", "field2",...]
ignore_missing: false
以上配置，将删除字段: field1和field2
ignore_missing 的值为 false表示，字段名不存在则会返回错误。为true不会返回错误。
注意: 事件中的"@timestamp和type字段是无法删除的。
下面的配置示例是删除顶级字段input和顶级字段ecs中的version字段。
- drop_fields:
fields: ["input", "ecs.version"]