Linux下ELK6.2.3日志分析平台搭建
官网下载地址：https://www.elastic.co/downloads
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。
1、环境准备
操作系统：Redhat6.5、JDK1.8
IP地址： 10.118.203.205
安装组件：elasticsearch、logstash、Kibana1、注意：6.2.3版本要求java版本一定为1.8，安装方法不详述
[root@vmax205 home]# java -version
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)2、系统参数配置
[root@vmax205 home]# cat /etc/security/limits.conf
......
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 65536
[root@vmax205 home]# cat /etc/sysctl.conf
......
vm.max_map_count=6553602、Elasticsearch搭建
1、下载安装包：elasticsearch-6.2.3.tar.gz
2、解压并修改配置文件config/elasticsearch.yml（本次安装为单机版配置）
cluster.name: elsearch
node.name: vmax205
path.data: /data/es/data
path.logs: /home/ELK/elasticsearch-6.2.3/logs
network.host: 10.118.203.205
http.port: 9200
discovery.zen.ping.unicast.hosts: ["vmax205"]
discovery.zen.minimum_master_nodes: 1
gateway.recover_after_nodes: 1
bootstrap.system_call_filter: false注意：bootstrap.system_call_filter为新增，其他的均可取消注释修改，修改时冒号和值之间要预留一个空格。
3、修改config/jvm.options配置文件
-Xms8g
-Xmx8g4、创建用户elsearch和设置密码123456
[root@vmax205 home]# useradd elsearch
[root@vmax205 home]# passwd elsearch
Changing password for user el.search
New password:
BAD PASSWORD: it is too simplistic/systematic
BAD PASSWORD: is too simple
Retype new password:
passwd: all authentication tokens updated successfully.5、将elasticsearch-6.2.3设置为elsearch用户权限
[root@vmax205 ELK]# chown -R elsearch:elsearch elasticsearch-6.2.3
[root@vmax205 ELK]# ll
total 504848
drwxr-xr-x. 8 elsearch elsearch 4096 Apr 14 15:55 elasticsearch-6.2.36、以后台方式启动
[elsearch@vmax205 elasticsearch-6.2.3]$ ./bin/elasticsearch -d7、验证启动是否成功,进程是否存在，接口是否能够调用。
[elsearch@vmax205 elasticsearch-6.2.3]$ jps
84955 Jps
45775 Elasticsearch
[elsearch@vmax205 elasticsearch-6.2.3]$ curl 10.118.203.205:9200
{
"name" : "vmax205",
"cluster_name" : "elsearch",
"cluster_uuid" : "9LxWf7PZQt6TnIWR-Tw2sw",
"version" : {
"number" : "6.2.3",
"build_hash" : "c59ff00",
"build_date" : "2018-03-13T10:06:29.741383Z",
"build_snapshot" : false,
"lucene_version" : "7.2.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},3、Kibana搭建
1、下载安装包：kibana-6.2.3-linux-x86_64.tar.gz
2、解压并修改配置文件config/kibana.yml
server.port: 5601
server.host: "10.118.203.205"
elasticsearch.url: "http://10.118.203.205:9200"
kibana.index: ".kibana"
elasticsearch.username: "elsearch"
elasticsearch.password: "123456"3、以后台方式启动
[elsearch@vmax205 kibana-6.2.3-linux-x86_64]$ nohup ./bin/kibana &4、查看运行状态，浏览器查看 http://10.118.203.205:5601
4、Logstash搭建
1、下载安装包：logstash-6.2.3.tar.gz
2、编写配置文件rule.conf
input {
file {
path => "/var/log/messages"
}
}
filter {
grok{
match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
}
}
output {
elasticsearch {
hosts=> "10.118.203.205"
index => "logstash-%{+YYYY.MM.dd}"
}
}3、以后台方式启动
[elsearch@vmax205 logstash-6.2.3]$ nohup ./bin/logstash -f ./config/rule.conf &4、观察日志没有报错，查看有无索引写入elsearch，查看kibana
[elsearch@vmax205 elasticsearch-6.2.3]$ curl -XGET '10.118.203.205:9200/_cat/indices?v&pretty'
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .kibana 407GADmaQkiQ4OH8FoODIg 1 0 2 1 10.8kb 10.8kb
yellow open logstash-2018.04.16 v-WDOjlzRjSMciB_FM9RkQ 5 1 2653 0 882.2kb 882.2kb5、问题记录
1）、Redhat6.5默认JDK版本为1.7，需要将JDK升级到1.8
解决方法：JDK官网中下载jdk-8u11-linux-x64.tar.gz，然后解压拷贝至/usr/java目录下，执行vi /etc/profile,修改环境变量，在文件内容里修改如下：
export JAVA_HOME=/usr/java/jdk1.8.0_11
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
保存后，执行source /etc/profile，再查询java版本信息是否显示已升级。
2）、elasticsearch启动时报错：Exception in thread "main" 2017-11-10 06:29:49,106 main ERROR No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system property 'log4j2.debug' to show Log4j2 internal initialization logging.ElasticsearchParseException[malformed, expected settings to start with 'object', instead was [VALUE_STRING]]
解决方法:elasticsearch.yml中的配置项的格式有问题，尽量保持冒号前面没空格，后面一个空格，不要用tab键。
3）、elasticsearch启动报错：ava.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in 。。。。。。
[2018-04-16T10:25:26,293][ERROR][o.e.b.Bootstrap ] [vmax205] node validation exception
[1] bootstrap checks failed
[1]: system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
解决方法：可以警告可以忽略不管，需要在配置文件增加elasticearch.yml增加配置bootstrap.system_call_filter: false。
4）、kibana启动报错不能执行node命令。
解决方法：下载node-v6.12.2-linux-x64.tar.gz，解压，修改环境变量/etc/profile,增加export NODE_HOME=/home/node
export PATH=$NODE_HOME/bin:$PATH
export NODE_PATH=$NODE_HOME/lib/node_modules
再执行source /etc/profile, 输入命令 node -v 和npm -v,能正常查询版本即可
5）、启动kibana，后台一直报错：
解决方法：kibana配置文件为配置elasearch的用户名和密码导致。
6、参考文献
https://my.oschina.net/haha256/blog，里面还有关于elasticsearch多集群部署。