一、elasticsearch实战
开源分布式搜索分析引擎,及爱能力在一个全文搜索引擎库apache lucene基础之上
elasticsearch不仅仅是lucene,并且也不仅仅只是一个全文搜索引擎:
一个分布式的斯和斯文档存储,每个字段可以被索引和搜索
一个分布式实时分析搜索引擎
能胜任上百个服务节点的扩展,并支持PB级别的结构化或者非结构化数据。
基础模块:
cluster | 管理集群状态,维护集群层面的配置信息 |
---|---|
alloction | 封装量分片分配相关的功能和策略 |
discovery | 发现集群中的节点,以及选举主节点 |
gateway | 对收到的master广播下来的集群状态数据的持久化存储 |
indices | 管理全局级的索引设置 |
http | 允许通过JSON over HTTP的方式访问ES的API |
transport | 用于集群内节点之间的内部通信 |
engine | 封装了对lucene的操作及translog的调用 |
elasticsearch应用场景:
信息检索
日志分析
业务数据分析
数据库加速
运维指标监控
官网: https://www.elastic.co/cn/
1、安装
https://elasticsearch.cn/download
[root@server1 elk]# rpm -ivh elasticsearch-7.7.0-x86_64.rpm
[root@server1 elk]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml #安装配置文件
cluster.name: my-es #指定集群
node.name: server4 #指定节点
bootstrap.memory_lock: true #锁定内存
network.host: 172.25.1.1 #监听端口
http.port: 9200
discovery.seed_hosts: ["server1", "server3","server5"] #必须要有一个,不然服务起不来
[root@server1 elasticsearch]# vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nofile 65535
elasticsearch - nproc 4096
[root@server1 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNPROC=4096
LimitMEMLOCK=infinity
[root@server1 elasticsearch]# swapoff -a #禁掉swap分区
[root@server1 elasticsearch]# netstat -antlp
[root@server1 elk]# ls
elasticsearch-7.7.0-x86_64.rpm elasticsearch-head-master nodejs-9.11.2-1nodesource.x86_64.rpm
https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/ #下载地址
[root@server1 elk]# yum install -y nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server1 elk]# node -v
v9.11.2
[root@server1 elk]# npm -v
5.6.0
yum install unzip
unzip elasticsearch-head-master.zip
cd elasticsearch-head-master
npm install --registry=https://registry.npm.taobao.org
yum install -y bzip2
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin/
mv phantomjs /usr/local/bin/
phantomjs
yum provides */libfontconfig.so.1
yum install -y fontconfig-2.13.0-4.3.el7.x86_64
phantomjs
cd /root/elk/elasticsearch-head-master
npm install --registry=https://registry.npm.taobao.org
[root@server1 elasticsearch-head-master]# cd _site/
[root@server1 _site]# ls
app.css app.js background.js base fonts i18n.js index.html lang manifest.json vendor.css vendor.js
[root@server1 _site]# vim app.js
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://172.25.1.1:9200";
[root@server1 elasticsearch-head-master]# npm run start &
网页搜索连接:http://172.25.1.1:9100/
发现不能连接
(3)修改ES跨域主持
[root@server1 elasticsearch-head-master]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true
http.cors.allow-origin: "*"
[root@server1 elasticsearch-head-master]# systemctl restart elasticsearch
[root@server1 elasticsearch]# vim elasticsearch.yml
discovery.seed_hosts: ["server1", "server3","server5"]
#
#Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["server1"]
[root@server1 elasticsearch]# systemctl restart elasticsearch
(4)添加主机节点(操作步骤和之前一样)
[root@server3 ~]# cd elk/
[root@server3 elk]# ls
elasticsearch-7.7.0-x86_64.rpm
[root@server3 elk]# rpm -ivh elasticsearch-7.7.0-x86_64.rpm
[root@server5 ~]# cd elk/
[root@server5 elk]# ls
elasticsearch-7.7.0-x86_64.rpm
[root@server5 elk]# rpm -ivh elasticsearch-7.7.0-x86_64.rpm
[root@server1 elasticsearch]# scp -p elasticsearch.yml server3:/etc/elasticsearch/elasticsearch.yml
[root@server1 elasticsearch]# scp -p elasticsearch.yml server5:/etc/elasticsearch/elasticsearch.yml
更改自己的主机名及ip地址
discovery.seed_hosts: ["server1", "server3","server5"]
#
#Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["server1","server3","server5"]
[root@server1 security]# scp limits.conf server3:/etc/security/limits.conf
[root@server1 security]# scp limits.conf server5:/etc/security/limits.conf
[root@server3 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNPROC=4096
LimitMEMLOCK=infinity
[root@server5 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNPROC=4096
LimitMEMLOCK=infinity
[root@server3 elk]# systemctl start elasticsearch
[root@server3 elk]#
[root@server2 elk]# systemctl restart elasticsearch
elasticsearch节点角色
Master:主要负责集群中索引的创建、删除以及数据u的rebalance等操作。Master不负责数据的索引及检索,所以负载较轻,当master节点失联或者挂掉时,ES集群会自动从其他master节点中选取一个leader
Date Node:主要负责集群中数据的索引与检索,一般压力比较大
Coordinating Node:原来Client node的,主要的功能是来分发请求和合并结果,所有节点默认就是Coordinating Node,且不能关闭该属性
Ingest Node:专门对索引的文档做预处理
3、对节点进行优化
默认三个节点都可以作为master,对三个节点进行优化,分清除各自角色
(1)
在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题.默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。
节点角色是由以下属性控制:
node.master | false/true |
---|---|
node.master | false/true |
node.ingest | true/false |
search.remote.connect | true/false |
默认情况下这些属性的值都是true。
(2)
node.master | 这个属性表示节点是否具有成为主节点的资格注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。 |
---|---|
node.data | 这个属性表示节点是否存储数据 |
node.ingest | 是否对文档进行预处理 |
search.remote.connect | 是否禁用跨集群查询 |
(3)
第一种组合:(默认)
node.master: true
node.data: true
node.ingest: true
search.remote.connect: true
这种组合表示这个节点即有成为主节点的资格,又存储数据.如果某个节点被选举成为了真正的主节点,那么他还要存储数据,这样对于这个节点的压力就比较大了。测试环境下这样做没问题,但实际工作中不建议这样设置。
(4)
第二种组合:(Data node)
node.master: false
node.data: true
node.ingest: false
search.remote.connect: false
这种组合表示这个节点没有成为主节点的资格,也就不参与选举,只会存储数据。
这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。
(5)
第三种组合:(master node)
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点不会存储数据,有成为主节点的资格,可以参与选举,有可能成为真正的主节点。
这个节点我们称为master节点。
(6)
第四种组合:(Coordinating Node)
node.master: false
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点即不会成为主节点,也不会存储数据,
这个节点的意义是作为一个协调节点,主要是针对海量请求的时候可以进行负载均衡。
(7)
第五种组合:(Ingest Node)
node.master: false
node.data: false
node.ingest: true
search.remote.connect: false
这种组合表示这个节点即不会成为主节点,也不会存储数据,
这个节点的意义是ingest节点,对索引的文档做预处理。
生产集群中可以对这些节点的职责进行划分
建议集群中设置3台以上的节点作为master节点,这些节点只负责成为主节点,维护整个集群的状态。
再根据数据量设置一批data节点,这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大。
所以在集群中建议再设置一批协调节点,这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。
节点需求
master节点:普通服务器即可(CPU、内存 消耗一般)
data节点:主要消耗磁盘、内存。
path.data: data1,data2,data3
这样的配置可能会导致数据写入不均匀,建议只指定一个数据路径,磁盘可以使用raid0阵列,而不需要成本高的ssd。
Coordinating节点:对cpu、memory要求较高
实验
server1:
[root@server1 elasticsearch]# vim elasticsearch.yml
node.name: server1
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
[root@server1 elasticsearch]# systemctl restart elasticsearch
server2\3:
[root@server2 elasticsearch]# vim elasticsearch.yml
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false
[root@server2 elasticsearch]# systemctl restart elasticsearch