ELK搭建实时日志分析系统

1 软件介绍

1.1 Elasticsearch

Elasticsearch is a distributed, RESTful search and analytics engine capable of solving a growing number of use cases. As the heart of the Elastic Stack, it centrally stores your data so you can discover the expected and uncover the unexpected.

Elasticsearch是一个分布式的RESTful搜索和分析引擎，能够解决越来越多的用例。作为弹性堆栈的核心，它集中存储您的数据，所以你能够自主的操作您的数据。

大概意思是说，ES既可以为用户提供数据存储，有能为用户提供用户接口以作数据分析。

官网：https://www.elastic.co/products/elasticsearch

1.2 Logstash

Logstash is an open source, server-side data processing pipeline that ingests data from a multitude of sources simultaneously, transforms it, and then sends it to your favorite “stash.” (Ours is Elasticsearch, naturally.)

Logstash是一个开源的服务器端数据处理管道，它从多个源同时获取数据，对其进行转换，然后将其发送到您所想要的“存储”（这里主要是ES）。

大概意思是说，Logstash是一个不局限于数据源和目的源的数据管道工具，它提供了各种数据源插件，以供用户搜集、转换不同的日志。

官网：https://www.elastic.co/products/logstash

1.3 Kibana

Kibana lets you visualize your Elasticsearch data and navigate the Elastic Stack, so you can do anything from learning why you're getting paged at 2:00 a.m. to understanding the impact rain might have on your quarterly numbers.

Kibana让你可视化你的Elasticsearch数据和导航弹性堆栈。让您清晰的了解到您的但不局限于系统日志等信息的操作。

官网：https://www.elastic.co/products/kibana

2 环境搭建

2.1 软件环境要求

系统：CentOS 6.5 x86_64

Java：JDK 1.8_64bit

Nodejs：v6.10.0

软件：Elasticsearch-5.2.2、Logstash-5.2.2、Kibana-5.2.2-x86_64

2.2 Elasticsearch安装

说明：新版ES必须要使用普通用户启动，不能使用root用户。

1)下载ES安装包

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.tar.gz

~]#sudo tar -xvzf elasticsearch-5.2.2.tar.gz

2)修改ES的配置文件

编辑config下的elasticsearch.yml

cluster.name: elk-sdnware

node.name: elk-node1

node.attr.rack: r1

path.data: /home/esuser/es/data

path.logs: /home/esuser/es/logs

bootstrap.memory_lock: false

bootstrap.system_call_filter: false

network.host: 192.168.200.201

http.port: 9200

discovery.zen.ping.unicast.hosts: ["192.168.200.201", "[::1]"]

discovery.zen.minimum_master_nodes: 1

gateway.recover_after_nodes: 1

http.cors.enabled: true

http.cors.allow-origin: "*"

表1 - ES配置参数说明

参数含义

cluster.name    集群名称

node.name    节点名称

node.attr.rack    默认参数描述

path.dataES    数据文件

path.logsES    日志文件路径

bootstrap.memory_lock    是否锁定使用内存，为了不产生内存交换以保证性能（CentOS7以下不支持SecComp）

bootstrap.system_call_filter    同上

network.host    网络主机

http.port    HTTP端口

discovery.zen.ping.unicast.hosts    初始节点列表

discovery.zen.minimum_master_nodes    集群至少有n个master

gateway.recover_after_nodes    n个节点启动后开始数据恢复

http.cors.enabled    是否支持跨域

http.cors.allow-origin    当设置允许跨域，默认为*,表示支持所有域名，如果我们只是允许某些网站能访问，那么可以使用正则表达式。比如只允许本地地址。 /https?:\/\/localhost(:[0-9]+)?/

3)启动ES

~/bin/elasticsearch >/dev/null 2>&1 &

启动成功后访问http://192.168.200.201:9200，如下图：

4)安装Elasticsearch-head插件

该插件是为了方便简单的管理ES中的索引、集群等信息，新版head插件安装与老版ES有所差异，官方已经独立出来成为了一个插件库，需要独立安装。

a)下载head插件安装包

git clone git://github.com/mobz/elasticsearch-head.git

b)下载安装nodejs

wget https://nodejs.org/dist/v6.10.0/node-v6.10.0-linux-x64.tar.xz

tar -xvf node-v6.10.0-linux-x64.tar.xz

设置NODE环境变量，node -v、npm -v测试安装是否成功

c)进入刚下载的elasticsearch-head目录，执行npm install

~/elasticsearch-head/ ] # npm install

在执行安装head插件时会去下载phantomjs，网络不好情况下下载极慢而导致npm install执行失败，为了保证正常安装，建议下载好该安装包，默认放在/tmp/phantomjs/,当前版本使用的是phantomjs-2.1.1-linux-x86_64.tar.bz2，具体版本看安装时打印信息；

d)安装完成后，需要修改相应的web文件

i.修改服务器监听地址

目录：head/Gruntfile.js

connect: {

    server: {

        options: {

            port: 9100,

            hostname: '*',

            base: '.',

            keepalive: true

        }

    }

}

增加hostname属性，设置为*

ii.修改连接地址

目录：head/_site/app.js

修改head的连接地址:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

把localhost修改成你es的服务器地址，如:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.200.201:9200";

e)启动head服务

elasticsearch-head ] # node_modules/grunt/bin/grunt server &

在此之前保证ES已经启动成功

打开http://192.168.200.201:9100，如下图：

2.3 Logstash安装

1)下载Logstash安装包

https://artifacts.elastic.co/downloads/logstash/logstash-5.2.2.tar.gz

~]#sudo tar -xvzflogstash-5.2.2.tar.gz

2)添加Logstash的用户（agent）配置

vim log4jes.conf，内容如下：

input {

    log4j {

        mode => "server"

        host => "192.168.200.201"

        port => 4567

    }

}

filter {

#Only matched data are send to output.

}

output {

    elasticsearch {

        action => "index"

        hosts => ["192.168.200.201:9200"]

        index => "cloudap-%{+YYYY.MM.dd}"

    }

}