filebeat收集json格式的日志

正常情况下,我们收集到的日志的格式可能和我们要求的不太一样,所以需要将日志按照我们要求的格式进行展现,在kibana中也可以直接过滤搜索。

查找对应的版本,我的是7.3版本的,官网的配置如下:

filebeat收集json格式的日志_第1张图片

filebeat收集json格式的日志_第2张图片

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.key_under_root: true
  json.overwrite_keys: true
  json.message_key: log
  tags: ["access"]


- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  json.key_under_root: true
  json.overwrite_keys: true
  json.message_key: log
  tags: ["error"]


filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false


setup.ilm.enabled: false
setup.template:
  name: "test-nginx"
  pattern: "test-nginx-*"
setup.template.overwrite: true
setup.template.enabled: false



setup.kibana:
  host: "172.123.154.13:5601"


output.elasticsearch:
  hosts: ["172.123.154.13:9203"]
  indices: 
    - index: "test-nginx-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "access"
    - index: "test-nginx-error-%{+yyyy.MM.dd}"
      when.contains:
        tags: "error"

nginx中的配置如下

 log_format json '{"@timestamp":"$time_iso8601",'
    '"host": "$server_addr",'
    '"clientip": "$remote_addr",'
    '"request_body": "$request_body",'
    '"responsetime": $request_time,'
    '"upstreamtime": "$upstream_response_time",'
    '"upstreamhost": "$upstream_addr",'
    '"http_host": "$host",'
    '"url": "$uri",'
    '"referer": "$http_referer",'
    '"agent": "$http_user_agent",'
    '"status": "$status"}';

    #日志使用json的模板
    access_log  /var/log/nginx/access.log  json;
 

发送几条请求,然后看到es中有索引生产。

filebeat收集json格式的日志_第3张图片

在kibana中查看到message数据已经按照json的格式进行展示。

filebeat收集json格式的日志_第4张图片

错误的日志message就是一行

你可能感兴趣的:(ELK日志收集器)