ELK-搭建实时日志ELK分析系统(2)-配置日志合并,@timestamp,根据不同beats来源建立不同索引

本章设置环境基于上一张elk内容搭建,ELK-搭建实时日志ELK分析系统,这一章新增一些配置,以更合适的应用于实际日志场景。

filebeat配置

filebeat是按行读取数据发送给logstash的,所以索引到elasticsearch的日志都是一行一行的,这不利于查看,尤其是查看一些报错的堆栈信息时,希望能把这些信息合并为一条。
我的日志形式是以'['开头的,在filebeat.yml中增加配置,合并多行:

 paths:
    - /home/appadmin/elk/logs/*
    #- c:\programdata\elasticsearch\logs\*
  multiline:
    pattern: '^\['
    negate: true
    match: after

现在所有的堆栈信息都合并到了一起。
filebeat每次读完数据都会记录一个偏移量,下一次会根据记录继续读取新的内容,如果更改配置后需要重新读取所有文件,先在elasticsearch中删除之前的索引,然后杀掉filebeat,删掉filebeat目录的data目录下的数据,再重启就可重新读取所有文件。

logstash配置

默认的索引到elasticsearch中的数据是按天来建立新索引的,每一天都会有一个新索引,这个时间是根据logstash中的@timestamp,这个字段默认是logstash接收到数据的时间,如果你的日志系统及时性很好的话也没什么大问题,但如果写入量太大造成堵塞,或者导入一些历史日志就会出现问题,因此最好是将@timestamp替换成日志记录的时间,更改logstash中启动加载的配置文件如下配置:

# 数据过滤
filter {
    grok {
            match => { "message" => "%{TIMESTAMP_ISO8601:log_time}" }

    }
    geoip {
            source => "clientip"

    }
    date{
        match => ["log_time", "yyyy-MM-dd HH:mm:ss,SSS", "ISO8601"]
        target => "@timestamp"
    }
    mutate{
        remove_field => ["log_time"]
    }

}

TIMESTAMP_ISO8601是日志文件中的时间日期格式,将日志中的时间提取到字段log_time中,然后传递给@timestamp,文件中match => ["log_time", "yyyy-MM-dd HH:mm:ss,SSS", "ISO8601"],第一个是字段名,第二个是log_time的格式,第三个是要转换的@timestamp格式。@timestamp要转换成北京时间要+8h,在kibana中展示时,kibana已经默认加上了这个时间差。

使用logstash收集多台服务器filebeat传递数据时标记来源并根据来源建立不同的索引

当有多个项目,并且项目部署在多个服务器的时候,我们可能需要知道每个日志的来源服务器,并且根据不同的项目建立单独的索引,所以可以添加以下配置完成:

  • 在filebeat中添加属性,标记日志来源:
    使用fields添加属性,key和value都可以自己定义,如果和filebeat已存在的key重复,将会替换它的值,使用属性fields_under_root: true使得这些属性在顶层结构。添加的属性会在索引到elasticsearch中的文档中看到。
- type: log

  # Change to true to enable this input configuration.
  enabled: false

  # Paths that should be crawled and fetched. Glob based paths.
  enabled: true
  paths:
    - /home/appadmin/elk/logs/*
    #- c:\programdata\elasticsearch\logs\*
  fields:
    log_ip: 10.1.12.18
    log_source: 你的域名
  fields_under_root: true
  multiline:
    pattern: '^\['
    negate: true
    match: after

注意:在编辑filebeat.yml时不要使用tab符,否则会报错。

  • 在logstash中根据日志的来源建立不同的索引:
    编辑启动logstash加载的配置文件,修改output:
# 输出到本机的 ES
output {
    elasticsearch {
            hosts => [ "localhost:9201"  ]
            index => "log-%{[log_source]}-%{+YYYY.MM.dd}"

    }
}

在index中引用filebeat中的log_source建立不同的索引。

  • 在kibana中就可以根据不同的来源建立不同的index pattern,区分不同系统的日志。
    配置elk权限与安全访问:ELK-搭建实时日志ELK分析系统(3)-集成search-guard

你可能感兴趣的:(ELK-搭建实时日志ELK分析系统(2)-配置日志合并,@timestamp,根据不同beats来源建立不同索引)