elk+logback+redis 搭建日志平台

日志平台背景：

日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有:

• 根据关键字查询日志详情
• 监控系统的运行状况
• 统计分析，比如接口的调用次数、执行时间、成功率等
• 异常数据自动触发消息通知
• 基于日志的数据挖掘

很多团队在日志方面可能遇到的一些问题有:

• 开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力
• 日志数据分散在多个系统，难以查找
• 日志数据量大，查询速度慢
• 一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据
• 数据不够实时

 

ELK+Redis版本：

 elasticsearch-2.1.0

 kibana-4.3.1-linux-x64

 logstash-2.1.1

 redis-2.8.3

elk安装参考地址： 

https://www.cnblogs.com/davidgu/p/6639307.html

 

elasticsearch配置：

 

Kibana配置：

 

 

 

Logstash配置：

 

input {
input {
  redis {
              codec => json
              host => "127.0.0.1"
              port => 8098
              key => "logstash"
              data_type => "list"
              threads => 10
  }
}
filter {
     json {
            source => "message"
     }
     if ([message] =~  "^(?!.*?xx_data_logs_type).*$") {
             drop {}
     }
}
output {
        if [message] =~ "xx_data_logs_type" and [message] =~ "xx_error" {
            elasticsearch {
                hosts => ["localhost:9200"]
                index => "xx_app_error_%{+YYYY.MM.dd}"
            }
        }
        if [message] =~ "xx_data_logs_type" and [message] =~ "xx_request_info" {
            elasticsearch {
                hosts => ["localhost:9200"]
                index => "xx_app_request_info_%{+YYYY.MM.dd}"


            }
        }
        if [message] =~ "xx_data_logs_type" and [message] =~ "xx_sql_info" {
            elasticsearch {
                hosts => ["localhost:9200"]
                index => "xx_app_sql_info_%{+YYYY.MM.dd}"


            }
        }
        if [message] =~ "xx_data_logs_type" and [message] =~ "xx_info" {
            elasticsearch {
                hosts => ["localhost:9200"]
                index => "xx_app_info_%{+YYYY.MM.dd}"
            }
        }
  stdout {
     codec => dots
  }
}

 

 

logback+redis配置：

 

 

    
            127.0.0.1
            8098
            logstash
    
     
        
        0
        
        5120