一、写在前面

   默认使用rpm包安装好了E、L、K、3个软件即可。当然了,还有必需的java环境JDK,本文基于elk5.20单独监控nginx 日志分析再进行可视化图形展示,并在用户前端使用nginx 来代理kibana的请求响应,访问权限方面暂时使用HTTP 基本认证加密用户登录(elk5.2中的x-path可以试用等有时间在去测试)

先插入一张线上的测试图:

ELK系统分析Nginx日志并对数据进行可视化展示_第1张图片

nginx日志文件其中一行:

119.122.96.163 - - [03/Apr/2015:15:14:46 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0"


nginx 服务器日志的log_format格式:

log_format  main  '"$http_x_forwarded_for" - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent"';


线上前端使用的中nginx代理

$http_x_forwarded_for 地址才是客户真正地址

二、配置logstash

1.修改配置文件,/etc/logstash/conf.d下。创建nginx.conf配置文件,内容如下:

[root@www conf.d]# cat nginx.conf
input {
    file {
        path => "/usr/local/nginx/logs/access.log"
        start_position => "beginning"
        ignore_older => 0
    }
}
filter {
    grok {
        match => { "message" => "%{NGINXACCESS}" }
        patterns_dir => ["/etc/logstash/patterns"]
    }
    geoip {
      source => "http_x_forwarded_for"
#      source => "clientip"
      target => "geoip"
      database => "/etc/logstash/GeoLiteCity.dat"
      add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
      add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
    }
    mutate {
      convert => [ "[geoip][coordinates]", "float" ]
      convert => [ "response","integer" ]
      convert => [ "bytes","integer" ]
      replace => { "type" => "nginx_access" }
      remove_field => "message"
    }

    date {
      match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"]

    }
    mutate {
      remove_field => "timestamp"

    }
}
output {
    
    

elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "logstash-nginx-access-%{+YYYY.MM.dd}" #要以logstash开头
    }
    stdout {codec => rubydebug}

}


input段:
  file:使用file 作为输入源
     path: 日志的路径,支持/var/log*.log,及[ "/var/log/messages", "/var/log/*.log" ] 格式
     start_position: 从文件的开始读取事件。另外还有end参数
     ignore_older: 忽略早于24小时(默认值86400)的日志,设为0,即关闭该功能,以防止文件中的事件由于是早期的被logstash所忽略。

filter段:
  grok:数据结构化转换工具
     match:匹配条件格式,将nginx日志作为message变量,并应用grok条件NGINXACCESS进行转换
  geoip:该过滤器从geoip中匹配ip字段,显示该ip的地理位置
     source:ip来源字段,这里我们选择的是日志文件中的最后一个字段,如果你的是默认的nginx日志,选择第一个字段即可(注:这里写的字段是/opt/logstash/patterns/nginx 里面定义转换后的)
     target:指定插入的logstash字断目标存储为geoip
     database:geoip数据库的存放路径
     add_field:  增加的字段,坐标经度
     add_field:  增加的字段,坐标纬度
  mutate: 数据的修改、删除、类型转换
     convert:  将坐标转为float类型
     convert:  http的响应代码字段转换成 int
     convert:  http的传输字节转换成int
     replace:  替换一个字段
     remove_field: 移除message 的内容,因为数据已经过滤了一份,这里不必在用到该字段了。不然会相当于存两份
  date: 时间处理,该插件很实用,主要是用你日志文件中事件的事件来对timestamp进行转换,导入老的数据必备!
     match:匹配到timestamp字段后,修改格式为dd/MMM/yyyy:HH:mm:ss Z
  mutate:数据修改
     remove_field: 移除timestamp字段。

output段:
  elasticsearch:输出到elasticsearch中
     



2.创建logstash配置文件之后,我们还要去建立grok使用的表达式,因为logstash 的配置文件里定义的使用转换格式语法,先去logstash的安装目录,默认安装位置:/etc/logstash/patterns下,在该位置创建一个目录patterns:

[root@www conf.d]#mkdir /etc/logstash/patterns

在该目录下创建格式文件,内容如下:

[root@www conf.d]# cat /etc/logstash/patterns/nginx


NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS \"%{IPV4:http_x_forwarded_for}\" - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent}

注意格式和空格

3.然后就是logstash中配置的GeoIP的数据库解析ip了,这里是用了开源的ip数据源,用来分析客户端的ip归属地。官网在这里:MAXMIND

先把库下载到本地

[root@www conf.d]# wget http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.mmdb.gz

然后解压到当前路径,并移到配置的路径下并改成配置中的名字

[root@www conf.d]# gzip -d GeoLite2-City.mmdb.gz

[root@www conf.d]# mv GeoLite2-City.mmdb GeoLiteCity.dat

启动logstash

[root@www ~]#/etc/init.d/logstash start

三、配置Elasticsearch

主要修改数据存放路径的权限

[root@www ~]#chown elasticsearch. /var/lib/elasticsearch -R

启动elasticsearch

[root@www ~]#/etc/init.d/elasticsearch start

我们在去看下es里的索引,应该已经在倒入数据了

[root@www ~]# curl 'localhost:9200/_cat/indices?v'

health status index                            pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana                            1   1          1            0      3.1kb          3.1kb
yellow open   logstash-nginx-access-2017.02.24      5   1      1170            0     1.9mb         1.9mb





四、安装nginx 配置kibana代理

略过


访问一下网站输入之前之前建立的用户和密码,正常的访问kibana界面即可,如下图:

ELK系统分析Nginx日志并对数据进行可视化展示_第2张图片

添加一个索引,这个索引名字就是我们之前在logstash配置文件中导入es中的那个,本文中是logstash-nginx-access-*,如下图:

ELK系统分析Nginx日志并对数据进行可视化展示_第3张图片

查看索引,目前自由一个,设置为加星,即是discover默认突出显示的。

ELK系统分析Nginx日志并对数据进行可视化展示_第4张图片

然后我们点击Discover,即可看到我们倒入的数据了。如下图:

ELK系统分析Nginx日志并对数据进行可视化展示_第5张图片

最后就是之前上传dashboard图

五、小结

ELK优势:

  • 针对网络***事件时,方便运维人员查找溯源。

  • 日志集中收集存储,方便后续分析

  • 优化业务、系统时,做到有据可依