Beats
简介
Beats集合了多种单一用途的数据采集器，主要有以下几种类型
- filebeat：采集日志文件
- metricbeat：采集系统和软件指标
- packetbeat：采集网络数据
如果数据不需要经过处理，可以直接传给Elasticsearch中
如果数据需要经过处理，可以传给logstash处理，然后再发送给Elasticsearch
Filebeat:轻量级的日志采集器
为什么要用Filebeat
当服务器很多时，ssh登录查看会比较麻烦。启动 Filebeat 后，打开 Logs UI，直接在 Kibana 中观看对您的文件进行 tail 操作的过程
Filebeat工作流程
- 指定数据源
- 匹配到日志后，使用Harvester组件读取日志
- 日志传递到spooler，然后再传到elasticsearch或logstash中
下载安装
选择对应系统的安装包，下载地址：https://www.elastic.co/cn/downloads/beats/filebeat
image.png
下载后，传到服务器上
# 解压
tar xf filebeat-7.13.0-linux-x86_64.tar.gz
# 移动并重命名
mv filebeat-7.13.0-linux-x86_64 /usr/local/filebeat
创建从控制台读取数据的配置文件
cd /usr/local/filebeat
vim mybeat.yml
# 添加以如下内容
filebeat.inputs:
- type: stdin
enabled: true
output.console:
pretty: true
enable: true
启动
./filebeat -e -c mybeat.yml
image.png
输出hello,可以控制台看到json输出
image.png
创建从日志中读取数据的配置文件
vim mybeat1.yml
# 输出以下内容
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/logs/message
output.console:
pretty: true
enable: true
# 再次启动
./filebeat -e -c mybeat1.yml
# 往messages里追加一点内容
echo "hello" >> /var/log/messages
可以看到刚刚追加的内容
image.png
自定义字段
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/logs/message
fields_under_root: true # 自定义字段作为根节点显示
# 自定义字段
fields:
myfields: test
output.console:
pretty: true
enable: true
输出到Elasticsearch中
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/*.log
fields:
myfields: test
fields_under_root: true
output.elasticsearch:
hosts: ["192.168.0.14:9200"]
image.png
自定义索引名称
output.elasticsearch:
hosts: ["192.168.0.14"]
index: "message-%{+yyyy-MM}"
setup.ilm.enabled: false
setup.template.enabled: false
setup.template.name: "index"
setup.template.pattern: "index-*"
安装chrome插件Elasticsearch Head查看结果
image.png
还可以按日志类型定义索引名称
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
# 自定义标签
tags: "access"
- type: log
enabled: true
paths:
- /var/log/nginx/error.log
tags: "error"
output.elasticsearch:
hosts: ["192.168.0.14:9200"]
indices:
- index: "nginx-access-%{+yyyy.MM}"
when.contains:
tags: "access"
- index: "nginx-error-%{+yyyy.MM}"
when.contains:
tags: "error"
setup.ilm.enabled: false
setup.template.name: "index"
setup.template.pattern: "index-*"
setup.template.enabled: false
image.png
filebeat的组件
harvester
- 读取单个文件内容
- 每个文件启动一个harvester，并且harvester负责打开和关闭这些文件
- 每个文件启动一个harvester
- 在harvester正在读取文件内容的时候，文件被删除或者重命名了，那么Filebeat就会续读这个文件，这就会造成一个问题，就是只要负责这个文件的harvester没用关闭，那么磁盘空间就不会被释放，默认情况下，Filebeat保存问价你打开直到close_inactive到达
prospector
- 管理harvester，找到所有读取的文件来源
- 如果输入类型为日志，则为每个文件启动一个harvester
- filebeat支持的prospector:stdin和log
module
前面的日志采集都是手动配置，在Filebeat中，有大量的Module，可以简化配置，并且做了简单的处理
# 查看module列表
./filebeat modules list
# 启用module
./filebeat modules enable nginx
# 禁用module
./filebeat modules disable nginx
修改module配置
vim modules.d/nginx.yml
- module: nginx
# Access logs
access:
enabled: true
# 添加日志文件
var.paths: ["/var/log/nginx/access.log*"]
# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
#var.paths:
# Error logs
error:
enabled: true
var.paths: ["/var/log/nginx/error.log*"]
配置filebeat，添加module
filebeat.inputs:
output.elasticsearch:
hosts: ["192.168.0.20:9200"]
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
测试
image.png
可以看到刚写入的数据己经采集到了
image.png
更多玩法，可参考官方文档：https://www.elastic.co/guide/en/beats/filebeat/current/index.html
Metricbeat
Metricbeat的组成
- module：收集的对象，如mysql,redis，操作系统等
- metricset：收集指标的集合：如CPU，memory，network等
使用Metricbeat的module收集Nginx数据
# 启用nginx module
./metricbeat modules enable nginx
# 配置nginx的status
location /status {
stub_status on;
access_log off;
}
# reload
systemctl reload nginx
vim modules.d/nginx.yml
html
- module: nginx
#metricsets:
# - stubstatus
period: 10s
# Nginx hosts
hosts: ["http://127.0.0.1"]
# status的uri
server_status_path: "status"
./metricbeat -e
测试
image.png