Elasticsearch+logstash+kibana部署

架构图示:

Elasticsearch+logstash+kibana部署_第1张图片

Logstash(收集服务器上的日志文件)

保存到 ElasticSearch(搜索引擎)

Kibana提供友好的web界面(从ElasticSearch读取数据进行展示)

服务器名

IP地址

操作系统

资源

角色

软件版本

lc005

192.168.19.133

Centos7.5

2vCPU/2GB RAM/40G Disk/20G Disk

Elasticsearch+logstash+kibana

elasticsearch-6.3.1

lc006

192.168.19.134

Centos7.5

2vCPU/2GB RAM/40G Disk/20G Disk

Elasticsearch

Kibana-6.3.1

lc007

192.168.19.135

Centos7.5

2vCPU/2GB RAM/40G Disk/20G Disk

Elasticsearch

logstash6.3.1

系统盘40G,/data目录lvm 20G

一、Elasticsearch安装部署

1、三台服务器都需要安装java,通过java -version进行查询

[root@lc005 ~]# java -version #系统自带有,

openjdk version "1.8.0_161"

OpenJDK Runtime Environment (build 1.8.0_161-b14)

OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)

如果没有java版本的话则通过yum -y install java-1.8.0-openjdk* 进行安装与升级

[root@lc005 ~]#yum -y install java-1.8.0-openjdk*

2、设定java_home,3台服务器同步执行

[root@lc005 ~]# echo "export JAVA_HOME=`alternatives --display java_sdk_1.8.0|grep link|awk '{print $NF}'`" >> /etc/bashrc

3、更新yum repository,3台都执行

[root@lc005 ~]# yum update -y

4、3台服务器都安装开发工具包

先查看需要安装的开发工具包

[root@lc005 jvm]# yum group info 'Development Tools'

安装开发工具包

[root@lc005 jvm]# yum group install 'Development Tools'

备注:由于OS模版都已经安装了开发工具包,因为执行该命令时是没有软件包安装。

5、加入Elasticsearch的yum源(3台服务器都执行)

加入 Elasticsearch/Logstash/Kibana Repository KEYs

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

[root@lc005 jvm]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

新建Elasticsearch的yum源配置文件

[root@lc005 jvm]# vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-6.x]

name=Elasticsearch repository for 6.x packages

baseurl=https://artifacts.elastic.co/packages/6.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

保存并退出

验证是否成功,执行yum repolist

Elasticsearch+logstash+kibana部署_第2张图片

6、安装Elasticsearch

yum install elasticsearch -y

Elasticsearch+logstash+kibana部署_第3张图片

7、修改elasticsearch.yml配置文件

[root@lc005 jvm]# vim /etc/elasticsearch/elasticsearch.yml

注意:三台节点,在node.name时,写各自主机名

Elasticsearch+logstash+kibana部署_第4张图片

Elasticsearch+logstash+kibana部署_第5张图片

注意,在每台服务器需要新建账号elasticsearch的用户,/data目录下创建index和log文件夹,并授权用户elasticsearch对/data目录下的index和log未所有者。

新建elasticsearch用户和组时发现已经创建了,因为我们安装elasticsearch时自动创建了用户和组。

可以去lc006和lc007上查看下

因此在三台服务器上直接授权文件夹所有者即可。

Elasticsearch+logstash+kibana部署_第6张图片

8、启动三台服务器上elasticsearch服务,并设置自动启动

9、验证elasticsearch是否正常工作,在浏览器中输入elasticsearch节点IP地址进行验证,如下图则说明elasticsearch已正常工作

Elasticsearch+logstash+kibana部署_第7张图片

二、Kibana的安装与配置

1、安装Kibana,按照我们的设计,只需要在lc005上部署。

yum -y install kibana

Elasticsearch+logstash+kibana部署_第8张图片

2、修改kibana.yml配置文件

[root@lc005 data]# vi /etc/kibana/kibana.yml

Elasticsearch+logstash+kibana部署_第9张图片

保存并退出

启动kibana服务

Elasticsearch+logstash+kibana部署_第10张图片

3、验证kibana是否正常工作

在浏览器中输入kibana服务器的IP地址显示如下图则说明kibana已正常工作

Elasticsearch+logstash+kibana部署_第11张图片

三、为elasticsearch和kibana安装x-pack插件

x-pack是elasticsearch的一个扩展包,将安全,警告,监视,图形和报告功能捆绑在一个易于安装的软件包中。可通过elasticsearch-plugin install命令直接通过网络自动下载安装。

1、在lc005上安装elasticsearch x-pack plugin(6.2.4的版本需要安装,6.5.1的版本已经包含了)

#cd /usr/share/elasticsearch/bin

Elasticsearch+logstash+kibana部署_第12张图片

# ./elasticsearch-plugin install x-pack(由于yum源码安装直接安装到最新的6.5.1了,因此已经默认包含了此版本

2、安装kibana x-pack plugin(由于yum源码安装直接安装到最新的6.5.1了,已经默认包含了此版本)

cd /usr/share/kibana/bin/

四、logstash的安装与配置

1、安装logstash

# yum install logstash -y

Elasticsearch+logstash+kibana部署_第13张图片

2、添加配置文件

将配置文件放入/etc/logstash/conf.d中,logstash服务启动时会自动读取该位置的配置文件。

3、配置文件格式

基础格式至少要有下列三段。

input{

       …    # 配置日誌檔的來源

}

filter {

       …  # 配置日誌檔的格式轉換與欄位定義

}

output {

       …  # 配置日誌檔的讀入處理後要導出至什麼端口

}

4.去需要收集日志的客户端部署ELK 6.5.1 filebeat和metricbeat安装

 

通过接口查看License许可

curl -XGET -u admin:password 'http://:/_license'

集群没有帐号密码的,忽略-u参数

Elasticsearch+logstash+kibana部署_第14张图片

 

 

你可能感兴趣的:(ELK)