Win7搭建ELKB平台分析nginx日志

前言

生产环境上应用在多台机器上分布式部署，分布式在提高性能的同时也带来了很多问题，其中一个问题就是日志分散导致定位问题变得繁琐困难。尤其项目采用微服务架构、容器化部署时，这个问题变得更加明显。今天小编以nginx日志为例，通过搭建ELKB平台，实现nginx日志归集，日志分析。

ELKB简述

E:Elasticsearch 是一个基于Lucene的分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。支持对大容量的数据进行接近实时的存储、搜索和分析操作。

L:Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，过滤转换数据，然后存储到用户指定的位置供以后使用。

K:Kibana是一个数据分析和可视化平台。一般与 Elasticsearch 配合使用，对其中数据进行搜索、分析和图表方式展示；

B:Beats 集合了多种单一用途数据采集器，分别是：Filebeat（搜集日志文件）；Metricbeat（搜集指标数据）；Packetbeat（搜集网络数据）；Winlogbeat（搜集 Windows 事件日志数据）；Auditbeat（搜集审计数据）；Heartbeat（搜集运行监控数据）。这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。

系统架构图

搭建ELKB

软件版本及下载地址
elasticsearch-6.4.2 》》》使用文档
logstash-6.4.2
kibana-6.4.2-windows-x86_64
filebeat-6.4.2-windows-x86_64

安装Elasticsearch

解压缩elasticsearch-6.4.2.zip，进入bin目录通过命令行执行下面命令：

elasticsearch.bat

浏览器访问http://localhost:9200/，见如下信息代表安装成功。

安装Kibana

解压缩kibana-6.4.2-windows-x86_64.zip，进入bin目录通过命令行执行下面命令：

kibana.bat

浏览器访问http://localhost:5601，见如下信息代表安装成功。

安装Logstash

解压缩logstash-6.4.2.zip，进入bin目录创建logstash.conf文件，内容如下：

input { stdin { } }
output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

通过命令行窗口启动：

logstash -f logstash.conf

安装Filebeat

解压缩filebeat-6.4.2-windows-x86_64.zip，修改filebeat.yml文件。
1.enabled设为true

  # Change to true to enable this input configuration.
  enabled: true

2.将默认输出到es修改成输出到logstash

#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]

  # Optional protocol and basic auth credentials.
  #protocol: "https"
  #username: "elastic"
  #password: "changeme"

#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

3.配置nginx日志地址,我将nginx日志存放在d:\elatisc\log\nginx\access.log，请按实际调整。

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
     - d:\elatisc\log\nginx\access.log

调整logstash的配置文件logstash.conf，将接收命令行输入改成Filebeat输入,然后重启Logstash。

input {
   beats {
     port => 5044
   }
}
output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

启动Filebeat

filebeat.exe -e -c filebeat.yml

Logstash命令行窗口输入nginx日志，表示Filebeat安装成功。

nginx分析

nginx日志格式说明

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

参数明细表：

参数	说明
$remote_addr	客户端的ip地址(代理服务器，显示代理服务ip)
$remote_user	用于记录远程客户端的用户名称（一般为“-”）
$time_local	用于记录访问时间和时区
$request	用于记录请求的url以及请求方法
$status	响应状态码，例如：200成功、404页面找不到等。
$body_bytes_sent	给客户端发送的文件主体内容字节数
$http_referer	可以记录用户是从哪个链接访问过来的
$http_user_agent	用户所使用的代理（一般为浏览器）
$http_x_forwarded_for	可以记录客户端IP，通过代理服务器来记录客户端的ip地址

修改Logstash配置logstash.conf

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
#  stdin { }
#  file {
#    path => "D:/elatisc/log/nginx/access.log"
#    start_position => "beginning"
#    sincedb_path => "XXXX"
#  }
   beats {
     port => 5044
   }

}

filter {
    grok {
        match => { "message" => "%{IPORHOST:remote_ip} - %{DATA:user_name} \[%{HTTPDATE:access_time}\] \"%{WORD:http_method} %{DATA:request_url} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:referrer}\" \"%{DATA:user_agent}\" \"%{DATA:forwarded_for}\"" }
    }
#    date {
#        match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
#    }
#    geoip {
#        source => "clientip"
#    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "nginx-access-log-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
  stdout { codec => rubydebug }
}

input配置是从Filebeat接收数据（前文Filebeat配置了读取nginx日志），filter将单行nginx日志进行信息提取，output配置成将数据输出到Elasticsearch索引名nginx-access-log-YYYY.MM.dd(YYYY.MM.dd代表当天日期)为持久化，同时传输时打印到Logstash控制台。

运行效果：

至此，nginx日志就成功导入到Elasticsearch，而且从Kibana上时间轴可以看到新增的nginx日志也不断写入到Elasticsearch。

ELK实现方案
上面是通过ELKB实现nginx日志采集分析，Filebeat是可选工具，不借助Filebeat只需要调整logstash.conf

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
#  stdin { }
  file {
    path => "D:/elatisc/log/nginx/access.log"
    start_position => "beginning"
  }

}

filter {
    grok {
        match => { "message" => "%{IPORHOST:remote_ip} - %{DATA:user_name} \[%{HTTPDATE:access_time}\] \"%{WORD:http_method} %{DATA:request_url} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:referrer}\" \"%{DATA:user_agent}\" \"%{DATA:forwarded_for}\"" }
    }
#    date {
#        match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
#    }
#    geoip {
#        source => "clientip"
#    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "nginx-access-log-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
  stdout { codec => rubydebug }
}

统计某个IP访问量
Kibana除了可以直观看到数据写入Elasticsearch情况，还可以对Elasticsearch数据进行分析，可视化展示。下面以分析某个IP访问量说明。

总结

本文只能算做抛转引玉，简单介绍了如何在windows平台搭建ELKB日志归集系统，对nginx日志进行分析。ELKB很多功能还覆盖到，后续小编会进一步学习，把更多功能介绍给大家。