ELK最新版实战配置检索nginx日志
说明: 本文只是对相应的功能进行简介，并不会具体介绍部署方案，因为所有的包都是使用的tar.gz格式解压直接可用的，如果有什么不懂的地方或是本人有说错的地方，欢迎大家提问和质疑，也欢迎大家一起交流学习。
环境：
OS:ubuntu14.0
Kernel:3.13.0-24-generic
logstash:1.5.1
elasticsearch:1.6.0
kibana:4.1
nginx:1.9.1
tomcat:7.0
java:1.7.0
Step1:
所有ELK的安装包都可以去官网下载，虽然速度稍慢，但还可以接受，官网地址：
https://www.elastic.co/
Step2：
配置安装nginx，这里不做详细安装介绍，有需要请参考以下链接：
http://note.youdao.com/share/?id=41198b582303e7cae269763f285f3bfc&type=note
nginx日志格式配置：
log_format www_log '$remote_addr - $remote_user [$time_local] "$request" $request_time ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';
Step3：
在Logstash1.5.1版本，pattern的目录已经发生改变，存储在/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.1.10/目录下，但是好在配置引用的时候是可以对patterns的目录进行配置的，所以本人在Logstash的根目录下新建了一个patterns目录。而配置目录在1.5.1版本中也不存在了，如果是rpm包安装的，可以在/etc/logstash/conf.d/下面进行配置，但个人测试多次，这样启动经常性的失败，目前还没有去分析原因(个人不推荐使用RPM包安装)。所以大家可以采用Nohup或者screen的方式进行启动
专属nginx的pattern配置：
NGINXACCESS %{IP:client} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{HOST:domain} %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:useragent} "(%{IP:x_forwarder_for}|-)"
以上格式是本人在以下网址一点一点测试出来的，其实的每一个%后面跟的参数都对应了nginx日志的相应内容（如果有其它日志检索的需要，可以在“http://grokdebug.herokuapp.com/”进行格式的测试）。通过logstash的filter功能中的grok方法，引用相关的pattern，对日志内容进行分类传输给elasticsearch，这样才能在Kibana上根据标签检索想要的信息。
Step4：
logstash启动配置(conf/log.conf)：
input {
file {
type => "test_nginx"
path => "/opt/nginx/logs/access.log"
}
file {
type => "test_tomcat"
path => "/opt/tomcat/logs/catalina.out"
}
}
filter {
grok {
type => "test_nginx"
pattern => "%{NGINXACCESS}"
patterns_dir => ["/data/log_monitor/logstash/pattern"]
}
geoip {
type => "test_nginx"
source => "client"
add_tag => "[geoip]"
}
}
#说明，在这里引用了geoip模块，但是此模块在国内用起来不是很理想，国内的网络环境太复杂了。另外，配置的时候注意类型及其各个参数的对应，不然检索的时候可能会失败。
output {
elasticsearch {
type => "test_nginx"
host => "192.168.0.1"
}
elasticsearch {
type => "test_tomcat"
host => "192.168.0.1"
}
}
Step5：
建议安装elasticsearh的head扩展模块，可以通过网页查看集群及日志的状态，安装方法：
sh elasticsearch/bin/plugin -install mobz/elasticsearch-head
访问地址：
http://192.168.0.1:9200/_plugin/head/
Step6：
启动ELK
nohup sh logstash/bin/logstash -f logstash/conf/log.conf & nohup sh elastic/bin/elastcisearch & nohup sh kibana/bin/kibana &
编后语：看起来是不是很简单？本人在安装完成后，觉得十分不易，其它论坛网站也有不少文档可以参考，但是说的内容都不是很清晰。其实我个人也是看了许久官网文档介绍才搞清楚怎么回事，提醒一下，官方文档（虽然是英文的）已经说明的很清楚了，仔细发现与观察，很快就能掌握。目前正在深入学习Kibana相关的功能模块，如果有所成果，一定会再次分享！