【项目实战25】ELK日志分析平台的集群部署（图文详解）

一、前言

一、简介

Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全
文搜索引擎库 Apache Lucene基础之上。
Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜
文搜索引擎库。
（1）一个分布式的实时文档存储,每个字段 可以被索引与搜索
（2）一个分布式实时分析搜索引擎
（3）能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构
化数据

二、基础模块

• cluster:管理集群状态,维护集群层面的配置信息。
• alloction:封装了分片分配相关的功能和策略。
• discovery:发现集群中的节点,以及选举主节点。
• gateway:对收到master广播下来的集群状态数据的持久化存储。
• indices:管理全局级的索引设置。
• http:允许通过JSON over HTTP的方式访问ES的API。
• transport:用于集群内节点之间的内部通信。
• engine:封装了对Lucene的操作及translog的调用。

三、运用场景

elasticsearch应用场景:
• 信息检索
• 日志分析
• 业务数据分析
• 数据库加速
• 运维指标监控

二、Elasticsearch搭建

虚拟机的内存至少需要2048内存，不然起不来服务
server13(master):172.25.42.13
server14(node):172.25.42.14
server15(node):172.25.42.15

server11端
1、获取下载软件https://elasticsearch.cn/download/

2、设置服务自启动

rpm -ivh elasticsearch-7.6.1.rpm
systemctl daemon-reload
systemctl enable elasticsearch 

3、修改配置文件

[root@server13 ~] cd /mnt/
[root@server13 mnt] ls
elasticsearch-7.6.1-x86_64.rpm
[root@server13 mnt] cd /etc/elasticsearch/
[root@server13 elasticsearch] vim elasticsearch.yml  

4、修改系统限制

[root@server13 elasticsearch] vim /etc/security/limits.conf   图1
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nofile 65536
elasticsearch - nproc 4096
[root@server13 elasticsearch] vim jvm.options                 图2

图1

图2

5、修改systemd启动文件

[root@server13 elasticsearch] vim /usr/lib/systemd/system/elasticsearch.service   图1     
[root@server13 elasticsearch] swapoff -a
[root@server13 elasticsearch] swapon -a
[root@server13 elasticsearch] vim /etc/fstab              图2，关闭自启动
[root@server13 elasticsearch] systemctl daemon-reload
[root@server13 elasticsearch] systemctl start elasticsearch

图1

图2

6、检查地址解析，访问主机9200端口可以访问到elk服务


server14、15执行和server13全部一样的操作
注意配置文件主机名和地址解析

vim /etc/elasticsearch/elasticsearch.yml 

三、elasticsearch的使用

一、第一种监控方式

以监控podman为例子
本来可以监控docker等服务，总的内存有限，利用真机下载podman，开启真机的podman进行监控
1、真机下载podman,上传镜像cerebro.tar

[root@foundation40 images] yum install podman.x86_64
[root@foundation40 images] podman load -i cerebro.tar

2、真机利用9000端口映射开启进程,查看端口

[root@foundation40 images] podman run -d --name cerebro -p 9000:9000 lmenezes/cerebro   图1
[root@foundation40 images] netstat -antlp|grep 9000                    图2

图1

图2、端口没有占用

3、查看监控

二、第二种监控方式（head插件监控）

server13 （master端)
1、获取，安装文件

[root@server13 mnt]  yum install -y unzip                            安装解压软件
[root@server13 mnt]  rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm   安装
[root@server13 mnt]  unzip master.zip                                解压                                        

2、真机开启地址伪装，使得虚拟机能上网

[root@foundation40 6.6] systemctl start firewalld
[root@foundation40 6.6] firewall-cmd --add-masquerade 

3、elasticsearch插件安装

[root@server13 mnt] mv elasticsearch-head-master ~
[root@server13 mnt] cd
[root@server13 ~] cd elasticsearch-head-master/

4、更换npm源安装

[root@server13 ~]  yum install bzip2
[root@server13 ~]  cd elasticsearch-head-master/
[root@server13 elasticsearch-head-master] npm install -g cnpm --registry=https://registry.npm.taobao.org               安装插件
[root@server13 elasticsearch-head-master] cnpm -v      查看当前插件
[root@server13 elasticsearch-head-master] cnpm install   安装插件

图1

图2

5、修改ELK主机ip和端口，启动服务

[root@server13 _site] vim app.js    图1
[root@server13 _site] cnpm run start &    图2

图1

图2

7、修改配置文件

[root@server13 elasticsearch-head-master] vim /etc/elasticsearch/elasticsearch.yml 
[root@server13 elasticsearch-head-master] systemctl restart elasticsearch.service 

6、访问server13启动成功，查看服务

创建索引，监控westos用户

监控成功