Fluentd配置

Fluentd

Fluentd 是完全开源免费的日志收集系统,支持在超过125种不同类型的系统上收集日志。

其系统示意图如下:

安装

第一步,RPM包安装

在RedHat/CentOS 6, 7 64位系统上可以用下列方式安装:

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

第二步,启动

根据系统版本可以用下列两种方式之一启动:

systemctl start td-agent
/etc/init.d/td-agent start

第三步,验证

默认安装的话,配置文件在/etc/td-agent/td-agent.conf,从HTTP的8888端口接收日志并路由到stdout(/var/log/td-agent/td-agent.log)。可以用下列命令发起测试日志:

curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test

查看日志的最后一行即是刚刚发送的测试日志:

# tail /var/log/td-agent/td-agent.log
2018-09-14 16:42:14 +0800 [warn]: #0 [output_td] secondary type should be same with primary one primary="Fluent::Plugin::TreasureDataLogOutput" secondary="Fluent::Plugin::FileOutput"
2018-09-14 16:42:14 +0800 [info]: adding match pattern="debug.**" type="stdout"
2018-09-14 16:42:14 +0800 [info]: adding source type="forward"
2018-09-14 16:42:14 +0800 [info]: adding source type="http"
2018-09-14 16:42:14 +0800 [info]: adding source type="debug_agent"
2018-09-14 16:42:14 +0800 [info]: #0 starting fluentd worker pid=24064 ppid=24051 worker=0
2018-09-14 16:42:14 +0800 [info]: #0 [input_debug_agent] listening dRuby uri="druby://127.0.0.1:24230" object="Fluent::Engine" worker=0
2018-09-14 16:42:14 +0800 [info]: #0 [input_forward] listening port port=24224 bind="0.0.0.0"
2018-09-14 16:42:14 +0800 [info]: #0 fluentd worker is now running worker=0
2018-09-14 16:46:16.388094455 +0800 debug.test: {"json":"message"}

配置

配置文件用于让用户控制Fluentd输入(input)和输出(output)的行为:(1) 选择输入和输出插件,(2) 指定插件参数。配置文件要求必须存在以使Fluentd正常工作。

字符编码

Fluentd假设配置文件编码为UTF-8或ASCII。

指令列表

配置文件由下列指令组成:

  1. source 指令确定输入源。
  2. match 指令确定输出目的地。
  3. filter 指令确定事件处理管道。
  4. system 指令设置系统级配置。
  5. label 指令将output和filter分组以进行内部路由。
  6. @include 指令用于包括其它文件。

配置示例 Step by Step

1. source: 所有数据的来源

选择和配置Fluentd的输入源,需要用source指令。Fluentd的标准输入插件包括http和forward。http监听HTTP端口,并接受从HTTP来的日志消息。forward让fluentd监听TCP端口,并接受TCP包。当然,两者可以同时开启(可以添加任意多需要的源)。

# Receive events from 24224/tcp
# This is used by log forwarding and the fluent-cat command

  @type forward
  port 24224


# http://this.host:9880/myapp.access?json={"event":"data"}

  @type http
  port 9880

每个source指令必须包含 @type 参数。@type 参数指定了何种输入插件将被使用。

插播一下:Routing

source 将事件提交到Fluentd的路由引擎。每个事件由3部分实体组成:tag, time 和 record。tag 是由’.'分隔的字符串(如:myapp.access),并且作为Fluentd内部路由的指示。time字段由 input 插件指定,并且必须得是Unix时间格式。record 是一个JSON对象。

2. match: 告诉 fluentd 该干什么!

match 指令查找所有具有匹配tag的事件,并且进行处理。match 指令最常见的用法是将事件输出到其它系统(因此,对应于match指令的插件被称为"output"插件)。Fluentd的标准输出插件包括 file 和 forward。现在来加入到配置文件中。

# Receive events from 24224/tcp
# This is used by log forwarding and the fluent-cat command

  @type forward
  port 24224


# http://this.host:9880/myapp.access?json={"event":"data"}

  @type http
  port 9880


# Match events tagged with "myapp.access" and
# store them to /var/log/fluent/access.%Y-%m-%d
# Of course, you can control how you partition your data
# with the time_slice_format option.

  @type file
  path /var/log/fluent/access

每个 match 指令必须包括一个匹配模板和一个 @type 参数。只有tag 匹配到模板的事件会被送到输出目的地(在上述示例中,只有tag为"myapp.access"的事件会被匹配)。@type 参数指定了将要使用的 output 插件。

3. filter: 事件处理管道

filter 指令与 match 有相同的语法,但 filter 可以将处理串成管道。 使用 filter 时事件流看起来会像这样:

Input -> filter 1 -> ... -> filter N -> Output

现在添加一个标准的 record_transformer filter 到刚刚写的 match 示例中。

# http://this.host:9880/myapp.access?json={"event":"data"}

  @type http
  port 9880



  @type record_transformer
  
    host_param "#{Socket.gethostname}"
  



  @type file
  path /var/log/fluent/access

收到事件 {“event”: “data”} 后,先扔到filter: record_transformer中,record_transformer 在事件中添加了"host_param" 字段并且继续向后传,{“event”:“data”,“host_param”:“webserver1”},事件最终到达 file 输出插件。

match 模板

通配符和展开

下列 match 模板可以用于中的tag:

  • * 匹配单个tag部分。
    • 例如:模板 a.* 匹配 a.b,但不能匹配 a 与 a.b.c
  • ** 匹配0个或多个tag 部分
    • 例如:a.** 匹配a, a.b 和 a.b.c
  • {X,Y,Z} 匹配X, Y, 或 Z, 这里 X, Y 和 Z都是匹配模板
    • 例如:模板 {a,b} 匹配 a 和 b,但不匹配 c
    • 这种方法可以用于组合 * 和 ** 模板。例如: a.{b,c}.* 和 a.{b,c.**}
  • 当多个模板同时在单个tag中列出时(由一个或多个空格分隔),将匹配所列出的任意一个模板。例如:
    • 模板 匹配 a 和 b
    • 模板 匹配 a, a.b, a.b.c (匹配到前一个模板)和 b.d (匹配到后一个模板)

匹配顺序

Fluentd 尝试以模板在配置文件中出现的顺序进行匹配。所以看下面的例子:

# ** matches all tags. Bad :(

  @type blackhole_plugin



  @type file
  path /var/log/fluent/access

上面例子中,myapp.access 永远都匹配不到。更宽松的匹配模板应定义在更严格的匹配模板之后。像这样:


  @type file
  path /var/log/fluent/access


# Capture all unmatched tags. Good :)

  @type blackhole_plugin

当然,如果有两个同样的模板,后一个match将永远无法匹配。如果你希望将事件发送到多个输出,应考虑使用 out_copy 插件。

常见的陷阱是将放到之后。由于前面说的原因,事件将无法到达filter,也就无法按预期的方式工作。

COPY 输出插件

out_copy 是Fluentd的核心插件,无须另外安装,out_copy 将事件复制多份,分别送到多个输出插件中去。直接来个例子:


  @type copy
  
    @type file
    path /var/log/fluent/myapp1
    ...
  
  
    ...
  
  
    ...
  

下面的例子将事件存到本地文件夹/var/log/fluent/myapp下,同时发送到Elasticsearch实例的fluentd.test 集合中。具体请参见out_file和out_elasticsearch插件的细节说明。


  @type copy
  
    @type file
    path /var/log/fluent/myapp
    compress gzip
    
      localtime false
    
    
      timekey_wait 10m
      timekey 86400
      timekey_use_utc true
      path /var/log/fluent/myapp
    
    
      time_format %Y%m%dT%H%M%S%z
      localtime false
    
  
  
    @type elasticsearch
    host 192.168.198.46
    port 9200
    index_name fluentd
    type_name test
  

启动一个docker,并将log-driver指向fluentd,即可将日志输出到fluentd,再转发至elasticsearch,同时本地留有日志备份。

docker run --rm --log-driver fluentd --log-opt fluentd-address=192.168.198.46:24224 --log-opt tag=docker.test alpine date

out_copy 参数

  • @type - 此值必须为"copy"

  • deep_copy - 深度复制,默认为false,out_copy在各store插件间共享事件记录。当此值为true时,out_copy为每一store插件复制一份事件记录。

  • 字段 - 指定存储目的地。格式与指令一致。此字段必须至少出现一次。

  • ignore_error - 忽略错误。当某一store出现错误时,这个参数将作用于其余store,例如:

    
      @type copy
      
        @type plugin1
      
      
        @type plugin2
      
    
    

    若plugin1出现错误时,plugin2将不会被执行。若希望忽略不重要的store出现的错误时,可以指定该store的ignore_error参数。

    
      @type copy
      
        @type plugin1
      
      
        @type plugin2
      
    
    

你可能感兴趣的:(Fluentd配置)