FileBeats配置应用详解

一、FileBeats特点

1.读取日志文件,但不做数据的解析处理

2.保证数据“At Least Once” 至少被读取一次,即数据不会丢失,某些情况下会重复消费

3.其他能力:处理多行数据,解析Json数据,简单的过滤功能

二、配置文件大致结构

FileBeats配置应用详解_第1张图片

6版本之前的OutPut可以有多个,之后的处于性能考虑只能有一个

三、常见输入类型配置介绍

1.标准输入

语法格式:

filebeat.inputs:
  - type: stdin
...

常用可接的配置选项:

encoding  指定编码方式

exclude_lines 忽略正则规则匹配到的行,exclude_lines: ['^DBG']表示 忽略 DBG  开始的行,无默认值,但是空行会被忽略

include_lines 与上述规则相反,当和上述选项一起出现时,该选项优先级高,无关配置文件中的顺序

max_bytese 处于单条数据的最大字节数,超过的将被丢弃,默认10MB

2.log输入

语法格式

filebeat.inputs:
- type: log
  paths:
    - /var/log/messages
    - /var/log/*.log
常用可接的配置选项:(有些与上述相同的就不列举了)
paths 指定的文件,可用通配符,每个路径一行且以- 开头
recursive_glob.enabled 启用递归通配 例如  /foo/** 可以是 /foo, /foo/*, /foo/*/*等,默认启用
exclude_files 忽略的文件

四、常见输出类型配置介绍

1.标准输出

语法格式

output.console:
  pretty: true
常用可接的配置选项:
pretty 将输出的json美化
codec 默认输出json格式,可以自定改变

其他输出后续更新




 

转载于:https://www.cnblogs.com/jedi1995/p/11241509.html

你可能感兴趣的:(json,运维,操作系统)