logstash配置文件常用参数

    最近在折腾logstash,其处理流程不过于input、filter、output三个处理流程,以下是我翻译的几个常用的处理参数

output流之http

output {
  http {
    codec => ... # codec (optional), default: "plain"
    content_type => ... # string (optional)
    format => ... # string, one of ["json", "form", "message"] (optional), default: "json"
    headers => ... # hash (optional)
    http_method => ... # string, one of ["put", "post"] (required)
    mapping => ... # hash (optional)
    message => ... # string (optional)
    url => ... # string (required)
    verify_ssl => ... # boolean (optional), default: true
    workers => ... # number (optional), default: 1
}
}
  • codec:  数据类型,默认是“plain”,用来指定输出数据的类型
  • content_type:  值类型是string,默认没有设置该参数,如果没有特别指明,json格式是application/json,form格式是application/x-www-form-urlencoded
  • format:  值可以是json、form、message三种类型,默认是json。用来设置http body的格式,如果是form格式,http body会被影射成一个查询字符串(foo=bar&baz=fizz...),如果是message格式,http body会被格式化成事件???,否则,事件都是以json格式发送
  • headers:  值类型是一个hash,默认是没有设置的。默认使用的格式如下:headers => ["X-My-Header", "%{host}"]
  • http_method:  值可以是put或者post,默认没有设置。
  • mapping:  值是一个hash,默认没有设置,该值可以让你选择事件的一个结构体或者部分发送,例如:mapping => ["foo", "%{host}", "bar", "%{type}"]
  • message:  值是字符串,默认没有设置
  • url:  值是一个字符串,默认没有设置。可以让你使用http或者https进行put或者post。
  • verify_ssl:  值是布尔类型,默认是true,是否验证SSL
  • workers:  值是一个数值。默认是1,用来设置工作者数目。


input流codec之json格式

input {
  file {
    codec => json {
      charset => ["UTF-8"] (optional), default: "UTF-8"
  }
  }
}
  • 被用来解析完全格式的json消息,如果json数据使用'\n'分割的,则可以使用json_lines

filter流之json
filter {
  json {
    add_field => ... # hash (optional), default: {}
    add_tag => ... # array (optional), default: []
    remove_field => ... # array (optional), default: []
    remove_tag => ... # array (optional), default: []
    source => ... # string (required)
    target => ... # string (optional)
}
}
  对一个包含json的字段,可以扩展成一个数据结构
  • add_field:  值类型为hash,默认是{} 空。如果这个过滤成功了,会增加任意field到这个事件。例如:add_field => [ "foo_%{somefield}", "Hello world, from %{host}" ],如果这个事件有一个字段somefiled,它的值是hello,那么我们会增加一个字段foo_hello,字段值则用%{host}代替。
  • add_tag:  值类型为array,默认是[] 空。执行成功会增加一个任意的tags到事件。例如:add_tag => [ "foo_%{somefield}" ]
  • remove_field:  值类型为array,默认是[] 空,执行成功,删除一个field,例如:remove_tag => [ "foo_%{somefield}" ]
  • source:  值类型为字符串,默认没有设置。

filter流之json_encode

filter {
  json_encode {
    add_field => ... # hash (optional), default: {}
    add_tag => ... # array (optional), default: []
    remove_field => ... # array (optional), default: []
    remove_tag => ... # array (optional), default: []
    source => ... # string (required)
    target => ... # string (optional)
}
}
  • 把一个field序列化成json格式。

filter流之grep
filter {
  grep {
    add_field => ... # hash (optional), default: {}
    add_tag => ... # array (optional), default: []
    drop => ... # boolean (optional), default: true
    ignore_case => ... # boolean (optional), default: false
    match => ... # hash (optional), default: {}
    negate => ... # boolean (optional), default: false
    remove_field => ... # array (optional), default: []
    remove_tag => ... # array (optional), default: []
}
}

   grep过滤器,如果你不想通过哪些事件可以把它drop掉,或者给每个匹配的事件增加tags和fields。如果negate的值是true,则匹配到的事件会被丢弃。

  • add_field:  值类型是hash,默认是{} 空。过滤成功,会增加一个field到事件。例如:add_field => [ "foo_%{somefield}", "Hello world, from %{host}" ]
  • add_tag:  值类型是array,默认是[] 空。过滤成功,会增加一个tags到事件,例如:add_tag => [ "foo_%{somefield}" ]
  • drop:  值是布尔类型,默认是true。drop掉不匹配的事件,如果该值设置为false,则不会有事件被drop。
  • ifnore_case:  值类型是布尔类型,默认是false。不区分大小写匹配,类似于grep -i,如果是true,则区分大小写
  • match:  值是hash类型,默认是{} 空。一个hash匹配field=>regxp。如果有多个匹配,则必须所有的都成功。例如:match => [ "message", "hello world" ]
  • negate:  值是布尔类型,默认值是false。类似于grep -v
  • remove_field:  值是array类型,默认是[] 空。如果成功,删除一个fields。
  • remove_tag:  值是array类型,同上。


filter流之grok

filter {
  grok {
    add_field => ... # hash (optional), default: {}
    add_tag => ... # array (optional), default: []
    break_on_match => ... # boolean (optional), default: true
    drop_if_match => ... # boolean (optional), default: false
    keep_empty_captures => ... # boolean (optional), default: false
    match => ... # hash (optional), default: {}
    named_captures_only => ... # boolean (optional), default: true
    overwrite => ... # array (optional), default: []
    patterns_dir => ... # array (optional), default: []
    remove_field => ... # array (optional), default: []
    remove_tag => ... # array (optional), default: []
    tag_on_failure => ... # array (optional), default: ["_grokparsefailure"]
}
}


   解析任意文本并且结构化他们。grok目前是logstash中最好的解析非结构化日志并且结构化他们的工具。这个工具非常适合syslog、apache log、mysql log之类的人们可读日志的解析。


你可能感兴趣的:(logstash)