fluentd安装和配置,收集docker日志

安装fluentd

参考文档:

官方文档    https://docs.fluentd.org/v0.12/categories/installation

fluentd配置 https://www.ixdba.net/archives/2018/01/1116.htm

 

 

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

查看已安装fluentd版本

/opt/td-agent/embedded/bin/gem list|grep fluentd

fluentd (1.2.4)建议1.2.4版本以上,因为之前的版本日志切割的时候会有问题

(https://github.com/fluent/fluentd/pull/2054)

更新版本

/opt/td-agent/embedded/bin/gem update fluentd

卸载之前的版本

/opt/td-agent/embedded/bin/gem uninstall fluentd --version=1.2.2

 

systemctl start td-agent  fluentd启动

systemctl enable td-agent  开机自启动

 

 

安装Fluentd 必要插件

# 从 rpm 安装的话, # 比如要使用下例的 mongo,需要安装 # $ sudo td-agent-gem install fluent-plugin-mongo $ sudo td-agent-gem 

# 从 gem 安装的话 $ sudo gem install 

安装完成后可以用以下命令测试是否成功,

curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test

td-agent的日志默认路径是:

/var/log/td-agent/td-agent.log

 

不过安装的环境可能是没网的环境,可以直接去gem官网找安装包,然后gem install 安装,以下插件是flutend成功将消息推送到elasticsearch的关键

(1)安装fluent-plugin-elasticsearch

/usr/sbin/td-agent-gem install fluent-plugin-elasticsearch

(2)安装fluentd type 插件

/usr/sbin/td-agent-gem install fluent-plugin-typecast

(2)安装secure-forward 插件(非必须但常用)

/usr/sbin/td-agent-gem install fluent-plugin-secure-forward

 

插件安装完成后,就可以修改td-agent的配置文件,将你所要收集的日志推送到

 

td-agent的配置文件路径默认为:

/etc/td-agent/td-agent.conf ,修改配置文件前将配置文件备份是个好习惯

cp /etc/td-agent/td-agent.conf  /etc/td-agent/td-agent.conf-ori

 

cat /etc/td-agent/td-agent.conf

  @type  forward

  @id    input1

  @label @mainstream

  port  24224

 

  @type stdout

 

 

     ← 指定标签

    @type file         ← 指定out_file插件

    @id   output_auth-server

    path         /data/alloc-order/docker.*.log     ← 指定输出文件

    append       true

    message_key log

    format single_value

    time_slice_format %Y%m%d           ← 文件添加日期信

    time_slice_wait   10m ← 文件添加日期信息

 

 

 

    @type file

    @id   output1

    path         /data/data.*.log

    #symlink_path /data/data.log

    append       true

    time_slice_format %Y%m%d

    time_slice_wait   10m

    time_format       %Y%m%dT%H%M%S%z

    #format single_value

    #message_key log

 

 

1、source:确定输入源

match: 确定输出目的地

filter:确定 event 处理流

label:将内部路由的输出和过滤器分组

2、Fluentd 的标准输入插件包含 http(监听 9880) 和 forward 模式(监听 24224),分别用来接收 HTTP 请求和 TCP 请求。

http:使 fluentd 转变为一个 httpd 端点,以接受进入的 http 报文。

forward:使 fluentd 转变为一个 TCP 端点,以接受 TCP 报文。

3、match 指令查找匹配 “tags” 的事件,并处理它们。match 命令的最常见用法是将事件输出到其他系统(因此,与 match 命令对应的插件称为 “输出插件”)。每个match指令必须包括一个匹配模式和type参数。match模式是用来过滤事件。只有事件与tag匹配,这个模式将被发送到输出目的地。type参数指定输出插件使用。Fluentd 尝试按照它们在配置文件中出现的顺序,从上到下来进行 "tags" 匹配 

append:默认值 false,即刷新日志到不同的文件;若为 true 则输出到同一文件,直到触发 time_slice_format

当满足 time_slice_format 条件时,将创建该文件。 要更改输出频率,请修改 time_slice_format 值。%Y%m%d  每天切割一次收集的日志

time_slice_wait   事件发生时间和fluentd接收事件信息时间有时会发生时差,因此会出现输出文件日期和实际内容不相符的情况。例如23:55发生的事件信息的接收事件是0:01,这时用日期切换输出文件可能会导致该事件信息的丢失。这时可指定 time_slice_wait 参数,该参数是out_file插件根据日期分割输出文件之后,等待多长时间之后向新文件输出信息,在这里10m是10分钟。

message_key log和format single_value将json格式中log字段提取出来

参考文档:http://www.imekaku.com/2016/09/18/fluentd-remove-time-tag-to-only-value/

Fluentd提取发送日志中的value-SingleValue – Imekaku-Blog 

 


docker run -d --log-driver fluentd --log-opt fluentd-address=localhost:24224 --log-opt tag="alloc-order" --log-opt fluentd-async-connect

 --log-driver: 配置log驱动

--log-opt: 配置log相关的参数

fluentd-address: fluentd服务地址fluentd-async-connect:fluentd-docker异步设置,避免fluentd挂掉之后导致Docker容器也挂了

 

 

 

 



转载于:https://www.cnblogs.com/zs-007/p/9475293.html

你可能感兴趣的:(fluentd安装和配置,收集docker日志)