ELK日志分析平台(1)---elasticsearch

一、elasticsearch实战

开源分布式搜索分析引擎,及爱能力在一个全文搜索引擎库apache lucene基础之上
elasticsearch不仅仅是lucene,并且也不仅仅只是一个全文搜索引擎:
一个分布式的斯和斯文档存储,每个字段可以被索引和搜索
一个分布式实时分析搜索引擎
能胜任上百个服务节点的扩展,并支持PB级别的结构化或者非结构化数据。

基础模块

cluster 管理集群状态,维护集群层面的配置信息
alloction 封装量分片分配相关的功能和策略
discovery 发现集群中的节点,以及选举主节点
gateway 对收到的master广播下来的集群状态数据的持久化存储
indices 管理全局级的索引设置
http 允许通过JSON over HTTP的方式访问ES的API
transport 用于集群内节点之间的内部通信
engine 封装了对lucene的操作及translog的调用

elasticsearch应用场景:
信息检索
日志分析
业务数据分析
数据库加速
运维指标监控

官网: https://www.elastic.co/cn/

1、安装
https://elasticsearch.cn/download

[root@server1 elk]# rpm -ivh elasticsearch-7.7.0-x86_64.rpm 
[root@server1 elk]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml 		#安装配置文件
cluster.name: my-es											#指定集群
node.name: server4											#指定节点
bootstrap.memory_lock: true									#锁定内存
network.host: 172.25.1.1									#监听端口
http.port: 9200
discovery.seed_hosts: ["server1", "server3","server5"]      #必须要有一个,不然服务起不来

ELK日志分析平台(1)---elasticsearch_第1张图片
ELK日志分析平台(1)---elasticsearch_第2张图片
ELK日志分析平台(1)---elasticsearch_第3张图片

[root@server1 elasticsearch]# vim /etc/security/limits.conf 
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nofile 65535
elasticsearch - nproc  4096

ELK日志分析平台(1)---elasticsearch_第4张图片

[root@server1 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNPROC=4096
LimitMEMLOCK=infinity

在这里插入图片描述

[root@server1 elasticsearch]# swapoff -a			#禁掉swap分区
[root@server1 elasticsearch]# netstat -antlp

ELK日志分析平台(1)---elasticsearch_第5张图片
ELK日志分析平台(1)---elasticsearch_第6张图片ELK日志分析平台(1)---elasticsearch_第7张图片
2、图形化操作
(1)安装

[root@server1 elk]# ls
elasticsearch-7.7.0-x86_64.rpm  elasticsearch-head-master  nodejs-9.11.2-1nodesource.x86_64.rpm
https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/		#下载地址
[root@server1 elk]# yum install -y nodejs-9.11.2-1nodesource.x86_64.rpm 
[root@server1 elk]# node -v
v9.11.2
[root@server1 elk]# npm -v
5.6.0

ELK日志分析平台(1)---elasticsearch_第8张图片

yum install unzip
unzip elasticsearch-head-master.zip
cd elasticsearch-head-master
npm install --registry=https://registry.npm.taobao.org

在这里插入图片描述
ELK日志分析平台(1)---elasticsearch_第9张图片

yum install -y bzip2
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 
cd phantomjs-2.1.1-linux-x86_64/bin/
mv phantomjs /usr/local/bin/
phantomjs 
yum provides */libfontconfig.so.1
yum install -y fontconfig-2.13.0-4.3.el7.x86_64
phantomjs 
cd /root/elk/elasticsearch-head-master

ELK日志分析平台(1)---elasticsearch_第10张图片

npm install --registry=https://registry.npm.taobao.org

ELK日志分析平台(1)---elasticsearch_第11张图片
(2)启动

[root@server1 elasticsearch-head-master]# cd _site/
[root@server1 _site]# ls
app.css  app.js  background.js  base  fonts  i18n.js  index.html  lang  manifest.json  vendor.css  vendor.js
[root@server1 _site]# vim app.js 
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://172.25.1.1:9200";
[root@server1 elasticsearch-head-master]# npm run start &

在这里插入图片描述在这里插入图片描述
网页搜索连接:http://172.25.1.1:9100/
发现不能连接
ELK日志分析平台(1)---elasticsearch_第12张图片

(3)修改ES跨域主持

[root@server1 elasticsearch-head-master]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true
http.cors.allow-origin: "*"
[root@server1 elasticsearch-head-master]# systemctl restart elasticsearch

ELK日志分析平台(1)---elasticsearch_第13张图片
连接未成功修改配置文件

[root@server1 elasticsearch]# vim elasticsearch.yml 

discovery.seed_hosts: ["server1", "server3","server5"]
#
#Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["server1"]
[root@server1 elasticsearch]# systemctl restart elasticsearch

ELK日志分析平台(1)---elasticsearch_第14张图片在这里插入图片描述
修改后成功连接
ELK日志分析平台(1)---elasticsearch_第15张图片

(4)添加主机节点(操作步骤和之前一样)

[root@server3 ~]# cd elk/
[root@server3 elk]# ls
elasticsearch-7.7.0-x86_64.rpm
[root@server3 elk]# rpm -ivh elasticsearch-7.7.0-x86_64.rpm 

ELK日志分析平台(1)---elasticsearch_第16张图片

[root@server5 ~]# cd elk/
[root@server5 elk]# ls
elasticsearch-7.7.0-x86_64.rpm
[root@server5 elk]# rpm -ivh elasticsearch-7.7.0-x86_64.rpm

ELK日志分析平台(1)---elasticsearch_第17张图片

[root@server1 elasticsearch]# scp -p elasticsearch.yml server3:/etc/elasticsearch/elasticsearch.yml
[root@server1 elasticsearch]# scp -p elasticsearch.yml server5:/etc/elasticsearch/elasticsearch.yml
更改自己的主机名及ip地址
discovery.seed_hosts: ["server1", "server3","server5"]
#
#Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["server1","server3","server5"]

在这里插入图片描述

[root@server1 security]# scp limits.conf server3:/etc/security/limits.conf 
[root@server1 security]# scp limits.conf server5:/etc/security/limits.conf 
[root@server3 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNPROC=4096
LimitMEMLOCK=infinity
[root@server5 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNPROC=4096
LimitMEMLOCK=infinity

在这里插入图片描述

[root@server3 elk]# systemctl start elasticsearch
[root@server3 elk]# 
[root@server2 elk]#  systemctl restart elasticsearch

在这里插入图片描述在这里插入图片描述
elasticsearch节点角色
Master:主要负责集群中索引的创建、删除以及数据u的rebalance等操作。Master不负责数据的索引及检索,所以负载较轻,当master节点失联或者挂掉时,ES集群会自动从其他master节点中选取一个leader
Date Node:主要负责集群中数据的索引与检索,一般压力比较大
Coordinating Node:原来Client node的,主要的功能是来分发请求和合并结果,所有节点默认就是Coordinating Node,且不能关闭该属性
Ingest Node:专门对索引的文档做预处理

3、对节点进行优化
默认三个节点都可以作为master,对三个节点进行优化,分清除各自角色

(1)
在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题.默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。
节点角色是由以下属性控制:

node.master false/true
node.master false/true
node.ingest true/false
search.remote.connect true/false

默认情况下这些属性的值都是true。

(2)

node.master 这个属性表示节点是否具有成为主节点的资格注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。
node.data 这个属性表示节点是否存储数据
node.ingest 是否对文档进行预处理
search.remote.connect 是否禁用跨集群查询

(3)
第一种组合:(默认)
node.master: true
node.data: true
node.ingest: true
search.remote.connect: true
这种组合表示这个节点即有成为主节点的资格,又存储数据.如果某个节点被选举成为了真正的主节点,那么他还要存储数据,这样对于这个节点的压力就比较大了。测试环境下这样做没问题,但实际工作中不建议这样设置。
(4)
第二种组合:(Data node)
node.master: false
node.data: true
node.ingest: false
search.remote.connect: false
这种组合表示这个节点没有成为主节点的资格,也就不参与选举,只会存储数据。
这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

(5)
第三种组合:(master node)
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点不会存储数据,有成为主节点的资格,可以参与选举,有可能成为真正的主节点。
这个节点我们称为master节点。

(6)
第四种组合:(Coordinating Node)
node.master: false
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点即不会成为主节点,也不会存储数据,
这个节点的意义是作为一个协调节点,主要是针对海量请求的时候可以进行负载均衡。

(7)
第五种组合:(Ingest Node)
node.master: false
node.data: false
node.ingest: true
search.remote.connect: false
这种组合表示这个节点即不会成为主节点,也不会存储数据,
这个节点的意义是ingest节点,对索引的文档做预处理。

生产集群中可以对这些节点的职责进行划分
建议集群中设置3台以上的节点作为master节点,这些节点只负责成为主节点,维护整个集群的状态。
再根据数据量设置一批data节点,这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大。
所以在集群中建议再设置一批协调节点,这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。

节点需求
master节点:普通服务器即可(CPU、内存 消耗一般)
data节点:主要消耗磁盘、内存。
path.data: data1,data2,data3
这样的配置可能会导致数据写入不均匀,建议只指定一个数据路径,磁盘可以使用raid0阵列,而不需要成本高的ssd。
Coordinating节点:对cpu、memory要求较高

实验
server1:

[root@server1 elasticsearch]# vim elasticsearch.yml 
node.name: server1
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
[root@server1 elasticsearch]# systemctl restart elasticsearch

server2\3:

[root@server2 elasticsearch]# vim elasticsearch.yml 
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false
[root@server2 elasticsearch]# systemctl restart elasticsearch

#设置成功后主节点变为server1
ELK日志分析平台(1)---elasticsearch_第18张图片

你可能感兴趣的:(运维实战)