Logstash filter 的使用

Filter插件（过滤器插件）是Logstash功能强大的主要原因，它可以对Logstash Event进行丰富的处理，比如说解析数据、删除字段、类型转换等等，常见的有如下几个：

•  grok：正则匹配解析
•  date: 日期解析
•  dissect：分割符解析
•  mutate：对字段做处理，比如重命名、删除、替换等
•  json：按照json解析字段内容到指定字段中
•  geoip：增加地理位置数据
•  ruby： 利用ruby代码来动态修改Logstash Event

Grok插件

 grok是一个十分强大的logstash filter插件，他可以通过正则解析任意文本，将非结构化日志数据解析成结构化和方便查询的结构内容，将其定义成我们平时容易理解的一些字段名称。他是目前logstash 中解析非结构化日志数据最好的方式。
 使用grok filter需要在logstash的配置文件中加上这样的内容：

filter {
    grok {
        match => {
                    "message" => "grok_pattern" 
                }
    }
}

  这段代码中除了grok_pattern（grok表达式，[ˈpætərn]模式）以外都是logstash的关键字。grok_pattern部分需要使用者填充自己的解析方式。
 grok_pattern由零个或多个%{SYNTAX:SEMANTIC}组成
 其中SYNTAX是表达式的名字，即文本匹配的模式的名称，是由grok提供的，例如数字表达式的名字是NUMBER，IP地址表达式的名字是IP。
 SEMANTIC表示解析出来的这个字符的名字，即为匹配的文本提供的标识符，由自己定义，例如IP字段的名字可以是client。【syntax [ˈsɪntæks]语法，semantic [sɪˈmæntɪk]语义】
 对于下面这条日志：
 192.168.1.2 GET /index.html 15824 0.043
 可以这样解析：

 将会得到这样的结果：

* client: 192.168.1.2
* method: GET
* request: /index.html
* bytes: 15824
* duration: 0.043

 数字表达式的名字是NUMBER，%{NUMBER:duration}可以匹配数值类型，但是grok匹配出的内容都是字符串类型，可以通过在最后指定为int或者float来强制转换类型。%{NUMBER:duration:float}
 data_type 目前只支持两个值：int 和 float。
 grok提供了哪些SYNTAX？可以查看文件grok-patterns，它默认放在路径/usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/目录下。
 测试：创建一个测试配置文件，如test.conf，内容如下：

 [root@server01~]# vim /usr/local/logstash-7.3.0/config/test.conf

input {stdin{}}
filter {
     grok {
        match => {
            "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
        }
     }
}
output {stdout{codec => rubydebug}}

 使用test.conf启动一个logstash实例，通过键盘输入如下内容：

192.168.1.2 GET /index.html 15824 0.043

logstash -f /usr/local/logstash-7.3.0/config/test.conf

  默认grok调用的是：
 /usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/这个目录下的正则
 假设现在要匹配一个正则表达式为regexp的字符串，而grok预定义的SYNTAX都不满足，也可以自己定义一个SYNTAX。
 自定义SYNTAX方式有两种：
 （1）直接在grok里面使用自定义表达式
 语法格式：(?pattern)
 ?表示要取出里面的值，pattern就是正则表达式
 例如：定制化字段，取出想要的字段
 “10.15 beijing sunny”，然后取出每一个字段
 编辑test.conf文件，内容如下：

 vim /usr/local/logstash-7.3.0/config/test.conf 

input {stdin{}}
filter {
     grok {
        match => {
            "message" => "(?\d+\.\d+)\s+(?\w+)\s+(?\w+)"
        }
     }
}
output {stdout{codec => rubydebug}}

 运行logstash，输入“10.15 beijing sunny”内容，并查看输出结果

logstash -f /usr/local/logstash-7.3.0/config/test.conf

 （2）自定义表达式文件
 在某个目录下创建一个文件，文件名自定义，如在/usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/目录下创建正则表达式文件test
 将目录加入grok路径： patterns_dir => "./patterns"
 将想要增加的正则表达式写入，格式：SYNTAX_NAME regexp
 使用方法和使用默认SYNTAX相同：%{SYNTAX_NAME:SEMANTIC}
 例如：使用grok自定义正则去匹配下边的日志

10.173.28.112  2018-11-22 16:30:58  GET  /AUTO/users/loginSuccess.do  200  46112  0.075

 在/usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/目录下创建正则表达式文件test，内容如下：

vim /usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/test

USER_IPADDRESS ([0-9\.]+)\s+
DATETIME ([0-9\-]+\s[0-9\:]+)\s+
METHOD ([A-Z]+)\s+
URL ([\/A-Za-z0-9\.]+)\s+
STATUS ([0-9]+)\s+
REQUEST_SEND ([0-9]+)\s+
REQUEST_TIME ([0-9\.]+)

 编辑logstash配置文件test.conf文件，内容如下：

vim /usr/local/logstash-7.3.0/config/test.conf

input {stdin{}}
filter {
     grok {
        patterns_dir => ["./patterns"]
        match => { "message" => "%{USER_IPADDRESS:user_ip} %{DATETIME:date} %{METHOD:method} %{URL:url} %{STATUS:status} %{REQUEST_SEND:request_send} %{REQUEST_TIME:request_time}" }
     }
}
output {stdout{codec => rubydebug}}

 运行logstash程序：查看输出结果

 总结：
 grok是通过系统预定义的正则表达式或者通过自己定义正则表达式来匹配日志中的各个值。
 正则解析式比较容易出错，建议先调试，kibana提供了grok debbuger
 

 使用Grok Filter插件编辑解析nginx日志

grok作为一个logstash的过滤插件，支持根据正则表达式解析文本日志行。在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。

本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。

Nginx日志格式

log_format配置如下：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
access_log  logs/access.log  main;

  $remote_addr变量：记录了客户端的IP地址（普通情况下）。
 $remote_user变量：当nginx开启了用户认证功能后，此变量记录了客户端使用了哪个用户进行了认证。
 $time_local变量：记录了当前日志条目的时间。
 $request变量：记录了当前http请求的方法、url和http协议版本。
 $status变量：记录了当前http请求的响应状态，即响应的状态码，比如200、404等响应码，都记录在此变量中。
 $body_bytes_sent变量：记录了nginx响应客户端请求时，发送到客户端的字节数，不包含响应头的大小。
 $http_referer变量：记录了当前请求是从哪个页面过来的，比如你点了A页面中的超链接才产生了这个请求，那么此变量中就记录了A页面的url。
 $http_user_agent变量：记录了客户端的软件信息，比如，浏览器的名称和版本号。
 $http_x_forwarded_for变量：简称XFF头，它代表客户端，也就是HTTP的请求端真实的IP，只有在通过了HTTP 代理或者负载均衡服务器时才会添加该项。
 对应的日志如下：
192.168.1.2 - - [16/Oct/2019:08:51:40 +0800] "GET /index.html HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0" "-"

 编写正则表达式

 logstash中默认存在一部分正则让我们来使用，在如下的文件中我们可以看到：
 /usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns

 基本定义在grok-patterns中，我们可以使用其中的正则，当然并不是所有的都适合nginx字段，这时就需要我们自定义正则，然后通过指定patterns_dir来调用。
 同时在写正则的时候可以使用Grok Debugger或者Grok Comstructor工具来帮助我们更快的调试。在不知道如何使用logstash中的正则的时候也可使用Grok Debugger的Descover（https://grokdebug.herokuapp.com/）来自动匹配。（注意网络是否通，需要墙）
 这里编写了一个符合这台nginx服务器的日志过滤器：

cd /usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/
vim nginx-access

NGINXACCESS %{IP:clientip} - (%{USERNAME:user}|-) \[%{HTTPDATE:timestamp}\] \"%{WORD:request_method} %{NOTSPACE:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:status:int} %{NUMBER:body_sent:int} \"-\" \"%{GREEDYDATA:agent}\" \"-\"

 编写logstash配置文件

 Logstash基本格式 input >> codec >> filter >> codec >> output ,codec用于文字编码格式转换。
 配置logstash

 [root@cong11 ~]# vim /usr/local/logstash-7.3.0/config/http_logstash.conf

input{
    kafka {
        codec => "json"  #指明codec为json，因为logstash从kafka读取的日志是json格式
        bootstrap_servers => "192.168.1.13:9092"
        client_id => "nginx_logs"
        group_id => "nginx_logs"
        consumer_threads => 5
        auto_offset_reset => "latest"
        decorate_events => true
        topics => "nginx_logs"
    }
}

filter {
  grok {
    patterns_dir => "/usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns"
    match => { "message" => "%{NGINXACCESS}" }
    remove_field => "message"    #过滤后丢弃原有信息
  }
}
output {
  stdout {
      codec => "rubydebug"
  }
  elasticsearch {
      hosts => [ "192.168.1.11:9200" ]
      index => "nginx-logs-%{+YYYY.MM.dd}"
  }
}

  注：remove_field的用法也是很常见的，他的作用就是去重，在前面的例子中你也看到了，不管是我们要输出什么样子的信息，都是有两份数据，即message里面是一份，NGINXACCESS里面也有一份，这样子就造成了重复，过滤的目的就是筛选出有用的信息，重复的不要。
 重启logstash

 [root@cong11 ~]# logstash -f /usr/local/logstash-7.3.0/config/http_logstash.conf

刷新nginx页面查看过滤出的日志记录

打开kibana页面，查看日志数据：

 date插件

在上面我们有个例子中用到了timestamp字段，表示日志生成的时间。但是在显示的时候除了显示你指定的timestamp外，还有一行是@timestamp信息，这两个时间是不一样的，Logstash会给收集到的每条日志自动打上时间戳（即@timestamp，表示系统当前时间），但是这个时间戳记录的是input接收数据的时间，而不是日志生成的时间（因为日志生成时间与input接收的时间肯定不同），两个时间并不是一回事，在ELK的日志处理系统中，@timestamp字段会被elasticsearch用到，用来标注日志的生产时间，如此一来，日志生成时间就会发生混乱，要解决这个问题，需要用到另一个插件，即date插件，这个时间插件用来转换日志记录中的时间字符串，变成Logstash::Timestamp对象，然后转存到@timestamp字段里面。

接下来我们在logstash配置文件中配置一下：

 vim /usr/local/logstash-7.3.0/config/http_logstash.conf

input{
    kafka {
        codec => "json"
        bootstrap_servers => "192.168.121.12:9092"
        client_id => "nginx_logs"
        group_id => "nginx_logs"
        consumer_threads => 5
        auto_offset_reset => "latest"
        #decorate_events => true
        topics => "nginx_logs"
    }
}

filter {
  grok {
    patterns_dir => "/usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns"
    match => { "message" => "%{NGINXACCESS}" }
    #match => { "message" => "%{COMBINEDAPACHELOG}" }
    remove_field => "message"
  }
  date {
    match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
  }
}
output {
  stdout {
      codec => "rubydebug"
  }
  elasticsearch {
      hosts => [ "192.168.121.10:9200" ]
      index => "nginx-logs-%{+YYYY.MM.dd}"
  }
}

 logstash -f /usr/local/logstash-7.3.0/config/http_logstash.conf

注意：时区偏移量需要用一个字母Z来转换。还有这里的“dd/MMM/yyyy”，你发现中间是三个大写的M，没错，这里确实是三个大写的M，我尝试只写两个M的话，转换失败.

启动一下我们看看效果：

logstash -f /usr/local/logstash-7.3.0/config/http_logstash.conf

…………
"@timestamp" => 2019-10-16T12:48:02.000Z,
 "timestamp" => "16/Oct/2019:20:48:02 +0800",
………..

 会发现@timestamp时间转换成功。

如果你要解析你的时间，你要使用字符来代替，用于解析日期和时间文本的语法使用字母来指示时间（年、月、日、时、分等）的类型。以及重复的字母来表示该值的形式。在上面看到的"dd/MMM/yyy:HH:mm:ss Z"，他就是使用这种形式，我们列出字符的含义：

Geoip Filter 

 geoip是常见的免费的IP地址归类查询库，geoip可以根据IP地址提供对应的地域信息，包括国别，省市，经纬度等等，此插件对于可视化地图和区域统计非常有用。
 该geoip插件配置要求指定包含IP地址来查找源字段的名称。在此示例中，该clientip字段包含IP地址。
 由于过滤器是按顺序进行评估，确保该geoip部分是在grok配置文件之后，无论是grok和geoip部分嵌套在内部filter部分。

vim /usr/local/logstash-7.3.0/config/http_logstash.conf

input{
    kafka {
        codec => "json"
        bootstrap_servers => "192.168.121.12:9092"
        client_id => "nginx_logs"
        group_id => "nginx_logs"
        consumer_threads => 5
        auto_offset_reset => "latest"
        #decorate_events => true
        topics => "nginx_logs"
    }
}

filter {
  grok {
    patterns_dir => "/usr/local/logstash-7.3.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns"
    match => { "message" => "%{NGINXACCESS}" }
    #match => { "message" => "%{COMBINEDAPACHELOG}" }
    remove_field => "message"
  }
  date {
    match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
  }
  geoip {
        source => "clientip"
  }
}
output {
  stdout {
      #codec => "rubydebug"
  }
  elasticsearch {
      hosts => [ "192.168.121.10:9200" ]
      index => "nginx-logs-%{+YYYY.MM.dd}"
  }

}

 logstash -f /usr/local/logstash-7.3.0/config/http_logstash.conf

在nginx服务器上插入测试数据，模拟日志产生

echo  '61.135.169.125 - - [16/Oct/2019:20:48:02 +0800] "GET /index.html HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0" "-"'>> /usr/local/nginx/logs/access.log

发现解析到的IP地址是中国，北京。成功了.