ELK5.0日志收集平台搭建指南

开源实时日志收集平台ELK由ElasticSearch、Logstash、Kibana三个开源工具组成，官方网址为：https://www.elastic.co/products

在Elastic 5.0版本之后，官方又加入了Beats套件，然后把他们统称为Elastic Stack。

 

ElasticSearch：是一个开源的分布式搜索引擎，其特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，Rest风格接口，多数据源，自动搜索负载等。

Logstash：是一个开源的日志收集和分析工具，能够将日志进行分析后，提供给ElasticSearch进行使用。

Kibana：可以为ElasticSearch和Logstash提供一个进行日志分析的友好Web界面，帮助汇总、分析、搜索重要日志。

Filebeat：是一个开源的文件收集器，最初是基于Logstash-forward源码的日志数据shipper，适合用于日志文件的收集。把Filebeat安装在服务器上，作为代理来监视日志目录或特定的日志文件，然后把日志数据转发到Logstash中进行分析，或者是直接转发到ElasticSearch中进行搜索。

ELK Stack的部署示意图如下。

 

整个ELK Stack由5个部分组成：JDK 8，ElasticSearch，Logstash，Filebeat，Kibana。文中所用的ELK Stack组件都是5.0以上版本。

 

1、JDK8

因为整个ELK Stack都需要依赖于JDK 8环境，所以在搭建环境之前，需要先进行JDK的安装和环境变量配置。

1.1 判断JDK是否安装

执行java -version命令，如果打印出下图中的文字，说明JDK已经成功安装，并且配置了环境变量。

 

1.2 下载JDK

如果没有安装JDK，可以登录Oracle官网进行JDK 8的下载，下载地址为：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html。

完成下载后，把JDK放到搭建ELK的环境里，执行tar -zxf jdk-8u111-linux-x64.tar.gz -C /usr/local命令，对JDK进行解压。

1.3 配置JDK环境变量

使用vim /etc/profile命令，对profile文件进行编辑。然后在文件末尾，添加以下内容。

export INSTALL4J_JAVA_HOME=/usr/local/java/jdk1.8.0_111 export JAVA_HOME=/usr/local/java/jdk1.8.0_111 export PATH=$JAVA_HOME/bin:$PATH

然后退出当前用户，重新登录系统。

1.4 验证安装

完成JDK环境变量配置之后，可以通过java -version命令来检查JDK是否安装成功。

2、ElasticSearch

2.1 下载并解压

通过执行wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0.1.tar.gz命令，可以进行ElasticSearch的压缩包下载。

下载完成后执行tar -zxf elasticsearch-5.0.1.tar.gz -C /usr/local命令，把ElasticSearch解压到/usr/local目录下。

 

2.2 修改配置文件

ElasticSearch的配置文件位于/usr/local/elasticsearch-5.0.1/config目录下。执行vim elasticsearch.yml修改配置文件，在配置文件中添加以下配置。

path.data: /var/lib/elasticsearch path.logs: /var/logs/elasticsearch network.host: 0.0.0.0

path.data和path.logs两个变量是对ElasticSearch数据存储目录和日志目录的配置。

Network.host变量，需要配置成0.0.0.0，是为了能让除了本机以外的机器，能通过浏览器成功访问ElasticSearch的地址（http://192.168.2.72:9200/)。

2.3 启动服务

完成配置文件修改后，在ElasticSearch的安装目录下，执行./bin/elsasticserach命令，进行服务器的启动。

ElasticSearch服务在linux系统中，不能直接使用root用户进行启动，需要创建一个非root用户，并且把ElasticSearch相关文件的所有者都修改为这个非root，然后使用该用户进行ElasticSearch的启动。

用户可以通过以下命令进行用户组、用户创建，和修改文件的所有者。

groupadd elsearch useradd elsearch -g elsearch -p elasticsearch chown -R elsearch elasticSearch.log

 

服务启动的时候，可能会出现下面截图中的异常信息出现。

 

这个异常不影响ElasticSearch的使用，只要对linux内核进行升级，异常信息就不会再出现。

2.4 验证安装

可以通过访问http://IP:9200，来验证ElasticSearch是否启动成功。在浏览器中进行访问时，会在页面里返回以下信息。

 

 

3、Logstash

3.1 下载并解压

通过执行wget https://artifacts.elastic.co/downloads/logstash/logstash-5.0.1.tar.gz命令来进行Logstash的下载。

下载完成后执行tar -zxf logstash-5.0.1.tar.gz -C /usr/local命令，把Logstash解压到/usr/local目录下。

3.2 测试Logstash

解压完成后，在Logstash的目录下执行./bin/logstash -e 'input { stdin { } } output { stdout {} }'命令，启动Logstash。

 

启动完成后，直接在控制台中输入HelloWorld，然后回车，将会在控制台中打印出刚才输入的Helloworld。

3.3 创建配置文件

在Logstash的目录下，通过vim logstash-test.cnof命令，创建Logstash的配置文件。配置文件内容如下。

input {   file {     path =>["/home/test/test.log"]     add_field => {"appName" => "test"}     type =>"test"   }   beats {    port => 5044   }  } filter{       grok {         match => {"message" => "\[%{TIMESTAMP_ISO8601:time}\]\[%{LOGLEVEL:level}\]\[%{JAVACLASS:class}:%{NUMBER}\]" }     }   } output {   elasticsearch { hosts => ["192.168.2.72:9200"] }   stdout { codec => rubydebug }

Input中的file，是用来从指定文件中读取文件数据，beats是配置了一个给Filebeat使用的端口号。

在filter里面，配置了一个grok插件，这个插件的作用是通过正则表达式，对收取到的日志数据进行解析。

在output中配置了两个数据输出方式，elasticsearch是向指定的ElasticSearch进行数据推送，stdout是把收到的数据在控制台进行输出。

3.4 使用配置文件启动

完成配置文件的编写后，在Logstash目录下，执行./bin/logstash -f logstash-test.conf命令，Logstash将会按照配置文件中的配置进行服务启动。

因为在配置文件中配置了file input，所以当服务启动起来后，可以通过执行echo "[2016-12-07 13:41:36,243][INFO][Test.SpringConfigFileLoader:94] Spring Config FileLoader load end.(17)" >>/home/test/test.log命令，向配置的文件里面写数据，模拟日志记录来测试Logstash。

 

 

4、Filebeat

4.1 下载并解压

通过执行wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.0.2-linux-x86_64.tar.gz命令，进行Filebeat的下载。

下载完成后执行tar -zxf filebeat-5.0.2-linux-x86_64.tar.gz -C /usr/local命令，把Filebeat解压到/usr/local目录下。

4.2 配置文件修改

Filebeat的配置文件就在解压后的目录下，通过执行vim filebeat.yml命令，来进行配置文件的修改。可参照下面的内容进行修改。

filebeat.prospectors: - input_type: "log"  paths: - /home/Test/default/work_temp/logs/trace.log  fields:      appName: default      logType: trace   - input_type: "log"   paths:     - /home/Test/default/work_temp/logs/system.log   fields:      appName: default      logType: system   - input_type: "log"   paths:     -  /home/Test/default/work_temp/logs/engine.log   fields:      appName: default      logType: engine   - input_type: "log"   paths:     -  /home/Test/default/work_temp/logs/deploy.log   fields:      appName: default      logType: deploy     multiline.pattern: ^\[   multiline.negate: true   multiline.match: after   output.logstash:   # The Logstash hosts   hosts: ["192.168.2.72:5044"]

在配置文件中配置了4个input_type用来对4个日志文件进行监控，同时还对监控到的日志数据增加了appName和logType两个参数。

配置文件中的multiline参数，是用来进行数据多行读取，以实现一次能读取全部异常堆栈的目的。

然后在文件中配置了output.logstash，这是把收集到的日志数据发送到Logstash中进行解析，这里配置的端口需要与Logstash中beats插件配置的端口相对应。

4.3 服务启动

在Filebeat所在目录下，执行./filebeat -e -c filebeat.yml命令，就能完成Filebeat的启动。

5、Kibana

5.1 下载并解压

通过执行wget https://artifacts.elastic.co/downloads/kibana/kibana-5.0.1-linux-x86_64.tar.gz命令，进行Kibana的下载。

下载完成后执行tar -zxf kibana-5.0.1-linux-x86_64.tar.gz -C /usr/local命令，把Filebeat解压到/usr/local目录下。

5.2 配置文件修改

Kibana的配置文件位于解压后的conf目录下，执行vim kibana.yml命令进行配置文件的修改。

在配置文件中增加以下配置。

server.host: "0.0.0.0" elasticsearch.url: "http://192.168.2.72:9200"

5.3 启动服务

在Kibana目录下，执行./bin/kibana命令，启动服务。

完成启动之后可以在浏览器中进行页面访问，地址为http://192.168.2.72:5601/。

 

首次登陆的时候，需要先配置索引，默认使用的索引是logstash-*，并且是基于时间的。建议把基于时间的选项取消，然后点击创建。

完成索引配置后，切换到Discover页面就可以开始进行日志数据的检索。