ELK-搭建实时日志ELK分析系统（2）-配置日志合并，@timestamp，根据不同beats来源建立不同索引

本章设置环境基于上一张elk内容搭建，ELK-搭建实时日志ELK分析系统，这一章新增一些配置，以更合适的应用于实际日志场景。

filebeat配置

filebeat是按行读取数据发送给logstash的，所以索引到elasticsearch的日志都是一行一行的，这不利于查看，尤其是查看一些报错的堆栈信息时，希望能把这些信息合并为一条。
我的日志形式是以'['开头的，在filebeat.yml中增加配置，合并多行：

 paths:
    - /home/appadmin/elk/logs/*
    #- c:\programdata\elasticsearch\logs\*
  multiline:
    pattern: '^\['
    negate: true
    match: after

现在所有的堆栈信息都合并到了一起。
filebeat每次读完数据都会记录一个偏移量，下一次会根据记录继续读取新的内容，如果更改配置后需要重新读取所有文件，先在elasticsearch中删除之前的索引，然后杀掉filebeat,删掉filebeat目录的data目录下的数据，再重启就可重新读取所有文件。

logstash配置

默认的索引到elasticsearch中的数据是按天来建立新索引的，每一天都会有一个新索引，这个时间是根据logstash中的@timestamp,这个字段默认是logstash接收到数据的时间，如果你的日志系统及时性很好的话也没什么大问题，但如果写入量太大造成堵塞，或者导入一些历史日志就会出现问题，因此最好是将@timestamp替换成日志记录的时间，更改logstash中启动加载的配置文件如下配置:

# 数据过滤
filter {
    grok {
            match => { "message" => "%{TIMESTAMP_ISO8601:log_time}" }

    }
    geoip {
            source => "clientip"

    }
    date{
        match => ["log_time", "yyyy-MM-dd HH:mm:ss,SSS", "ISO8601"]
        target => "@timestamp"
    }
    mutate{
        remove_field => ["log_time"]
    }

}

TIMESTAMP_ISO8601是日志文件中的时间日期格式，将日志中的时间提取到字段log_time中，然后传递给@timestamp,文件中match => ["log_time", "yyyy-MM-dd HH:mm:ss,SSS", "ISO8601"]，第一个是字段名，第二个是log_time的格式，第三个是要转换的@timestamp格式。@timestamp要转换成北京时间要+8h，在kibana中展示时，kibana已经默认加上了这个时间差。

使用logstash收集多台服务器filebeat传递数据时标记来源并根据来源建立不同的索引

当有多个项目，并且项目部署在多个服务器的时候，我们可能需要知道每个日志的来源服务器，并且根据不同的项目建立单独的索引，所以可以添加以下配置完成：

• 在filebeat中添加属性，标记日志来源：
  使用fields添加属性，key和value都可以自己定义，如果和filebeat已存在的key重复，将会替换它的值，使用属性fields_under_root: true使得这些属性在顶层结构。添加的属性会在索引到elasticsearch中的文档中看到。

- type: log

  # Change to true to enable this input configuration.
  enabled: false

  # Paths that should be crawled and fetched. Glob based paths.
  enabled: true
  paths:
    - /home/appadmin/elk/logs/*
    #- c:\programdata\elasticsearch\logs\*
  fields:
    log_ip: 10.1.12.18
    log_source: 你的域名
  fields_under_root: true
  multiline:
    pattern: '^\['
    negate: true
    match: after

注意：在编辑filebeat.yml时不要使用tab符，否则会报错。

• 在logstash中根据日志的来源建立不同的索引：
  编辑启动logstash加载的配置文件，修改output：

# 输出到本机的 ES
output {
    elasticsearch {
            hosts => [ "localhost:9201"  ]
            index => "log-%{[log_source]}-%{+YYYY.MM.dd}"

    }
}

在index中引用filebeat中的log_source建立不同的索引。

• 在kibana中就可以根据不同的来源建立不同的index pattern，区分不同系统的日志。
  配置elk权限与安全访问：ELK-搭建实时日志ELK分析系统（3）-集成search-guard