Elasticsearch集群部署详解

Elasticsearch集群部署详解

环境：centos6.9、jdk1.8.0_151、elasticsearch-5.6.5
注意：es5.x要求jdk1.8，否则会报错
本文以讲解Elasticsearch三个节点的分布式部署、核心配置的含义以及分布式部署遇到的坑。

部署节点原理

• 多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点。Zen发现是ES自带的默认发现机制，使用多播发现其它节点。只要启动一个新的ES节点并设置和集群相同的名称这个节点就会被加入到集群中。（所以，同集群的集群名称一致，才能便于自动发现）

• Elasticsearch集群中有的节点一般有三种角色:master node、data node和client node。

  1）master node——master节点点主要用于元数据(metadata)的处理，比如索引的新增、删除、分片分配等。
  2）client node——client 节点起到路由请求的作用，实际上可以看做负载均衡器。
  3）data node——data节点上保存了数据分片。它负责数据相关操作，比如分片的 CRUD，以及搜索和整合操作。这些操作都比较消耗 CPU、内存和 I/O 资源；

  节点详解，会在下一篇博客中说明

三节点 Elasticsearch 分布式部署。

节点规划

master node:10.0.15.57
client node:10.0.15.12
data node:10.0.15.2

1、下载
下载地址 https://www.elastic.co/downloads/past-releases/elasticsearch-5-6-5

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.5.tar.gz

2、解压

tar zxvf elasticsearch-5.6.5.tar.gz
3、创建ES数据文件和日志文件目录
cd elasticsearch

数据目录

mkdir data

日志目录

mkdir logs

4、修改ES配置文件
进入到config文件夹，编辑 elasticsearch.yml

vim elasticsearch-5.6.5/config/elasticsearch.yml

这里以主节点为例
步骤1：配置好主节点Master信息。

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#簇名称，分布式部署，确保该名称唯一。同一集群的集群名称必须相同
cluster.name: es
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#节点名称，各个节点不同
#node.name: node-1
#
# Add custom attributes to the node:
#该节点所属机架
#node.attr.rack: r1
##该节点的名字
node.name: "test01-master"
#该节点有机会成为master节点
node.master: true
#该节点可以存储数据
node.data: true
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#数据存放目录
path.data: /opt/elasticsearch/data
#
# Path to log files:
#日志存放目录
path.logs: /opt/elasticsearch/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
#bootstrap.memory_lock: true

# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#修改一下ES的监听地址，这样别的机器才可以访问
network.host: 10.0.15.57
#
# Set a custom port for HTTP:
#端口
http.port: 9200
#
# For more information, consult the network module documentation.
#
# 增加新的参数，这样head插件可以访问es
http.cors.enabled: true
http.cors.allow-origin: "*"
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when new node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#定义发现的节点:注意，分布式系统整个集群节点个数N要为奇数个
discovery.zen.ping.unicast.hosts: ["10.0.15.57:9300", "10.0.15.12:9300","10.0.15.2:9300"]
#
# Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1):
#master选举最少的节点数，这个一定要设置为N/2+1，其中N是：具有master资格的节点的数量，而不是整个集群节点个数。
discovery.zen.minimum_master_nodes: 2
#
# For more information, consult the zen discovery module documentation.
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
gateway.recover_after_nodes: 3
gateway.recover_after_time: 5m
gateway.expected_nodes: 1
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true

5、拷贝到其他机器上
6、修改配置文件
cient节点；修改节点名称信息。
只列举不一样的配置：

node.name: "test02-cient"
node.master: true
node.data: false
network.host: 10.0.15.12

步骤3： data节点；修改节点名称
只列举不一样的配置：

node.name: “test03-data”
node.master: false
node.data: true
network.host: 10.0.15.2

7、创建用户
+++注意:三台机器都要创建+++
root用户无法启动es,必须新建一个其他用户,并对其赋予es目录的操作权限 ，这里我新建了es用户和组
创建组

grupadd es

创建用户

useradd es -g es

修改用户和组

chown -R es:es es的安装目录

查看

注意缺少这一步会报错：can not run elasticsearch as root

[2018-04-25T16:37:08,160][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [node01] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:136) ~[elasticsearch-5.6.5.jar:5.6.5]

8、启动
分别运行Master，client，data节点（顺序无关）
控制台启动命令

./elasticsearch

后台启动命令

./elasticsearch -d

成功效果

浏览器查看（分别输入三台机器ip:9200）

用head插件可以看到各个节点情况

9、分布式部署遇到的坑
启动可能出现的错误
错误1：max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
这个问题是无法创建本地文件,用户最大可创建文件数太小
解决：只需要修改创建文件的最大数目为65536就行了
切换到root用户修改

vim /etc/security/limits.conf

    root soft nofile 65536
    root hard nofile 65536
    * soft nofile 65536
    * hard nofile 65536

保存、退出、重新登录才可生效

参数解释：
- soft nproc:可打开的文件描述符的最大数(软限制)
- hard nproc:可打开的文件描述符的最大数(硬限制)
- soft nofile:单个用户可用的最大进程数量(软限制)
- hard nofile:单个用户可用的最大进程数量(硬限制)

错误2：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
虚拟内存太小
切换到root用户修改

vim /etc/sysctl.conf

vm.max_map_count=262144

执行命令：

sudo sysctl -p

错误3：Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error=’Cannot allocate memory’ (errno=12)

jvm需要分配的内存太大

vim config/jvm.options

-Xms2g
-Xmx2g
该为：
-Xms100m
-Xmx100m

错误4：max number of threads [1024] for user [es] likely too low, increase to at least [2048]
原因：无法创建本地线程问题,用户最大可创建线程数太小
解决方案：切换到root用户，进入limits.d目录下，修改90-nproc.conf 配置文件
成功启动：

vi /etc/security/limits.d/90-nproc.conf

“`
找到如下内容：

* soft nproc 1024

修改为

* soft nproc 2048
“`
错误5：n ERROR No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system property ‘log4j2.debug‘ to show Log4j2 internal initialization logging.
es用

yum install -y log4j*

错误6：unknown setting [discovery.zen.ping.multicast.enabled] please check that any required plugins are installed, or check the breaking changes documentation for removed settings
在elasticsearch.yml文件中 添加bootstrap.system_call_filter: false

错误7：三节点不能联通的：
原因：
1）各节点的hostname没有正确设置，和节点名称设置为一致。
2）关闭防火墙，service iptables stop；否则，打开防火墙会导致无法正常通信，head插件不能看到节点数据信息。