ElasticSearch 5.x 部署及常见问题
部署5.x版本的ES
下载 Elasticsearch5.x ES 官网下载
环境需求：
es5.x版本 不能以root用户运行es，需增加普通用户，此例新加用户es
JDK 1.8
useradd es修改系统参数
1 vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
2 vi /etc/security/limits.d/90-nproc.conf
找到如下内容：
* soft nproc 1024
修改为
* soft nproc 2048
3 vi /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
4 文件打开数，要求大于65535
ulimit -n 65536
普通用户进入解压安装包。
tar -zxvf elastic*.tar.gz
在本机中找一个存储空间比较大的磁盘，如 /data，在该目录下执行以下命令
mkdir -p /data/es5/{data,logs}
用于存放es的数据和日志文件
ES参数配置
elasticsearch.yml是elasticsearch主要的配置文件，所有的配置都在这个文件里完成，一般情况下，默认的配置已经可以比较好地运行一个集群了，但你也可以对其进行微调。下面对其比较常见的一部分参数做一些说明：
Ø Cluster
- cluster.name
集群名称，如果有多个集群，那么每个集群名就得是唯一的。
Ø Node
1．node.data
集群中的节点名称，比如前面说的82、83、84三台机子每台都有一个名称，你也可以不设这个名称，默认的集群启动时会自己给每个节点初始化一个名称，但强烈建议这里还是由自己设置比较好。
2．node.master
该节点是否是master，true表示是的，false表示否，默认是true.
3．node.data
该节点是否存储数据，默认true表示是的。
说明：对于上面两个节点，如果你希望该节点只是一个master，但不存储数据，则应当设置为：
node.master: true
node.data: false
如果你希望该节点只存储数据，但不是一个master，则应该设置：
node.master: false
node.data: true
如果你既不希望该节点为一个master，也不想它存储数据，则应该设置为：
node.master: false
node.data: false
这种情况一般是你希望该节点仅仅是作为一个搜索负载均衡器，比如从各节点得到数据，聚合结果等。
Ø Index
1． index.number_of_shards
设置一个索引被分成的分片数，默认是5
2．index.number_of_replicas
设置一个索引有几个拷贝，默认为1。拷贝指的是其它节点对该节点的拷贝，比如在84上创建了一个索引，那么这个拷贝会存在于82和83上，这是一个分布式的属性。
拷贝越多，则搜索性能越佳，而分片越多则索引创建性能越好。
Ø Paths
1．path.conf
配置文件目录，默认为es根目录下的config目录。
2．path.data
索引存储路径，默认为es根目录下的data目录，可以有多个存储路径，各存储路径用逗号隔开，如：path.data: /path/to/data1,/path/to/data2
3．path.work
临时文件存放目录，默认为es根目录下的work目录
4．path.logs
日志文件存放目录，默认为es根目录下的logs目录。
5．path.plugins
插件的安装目录，默认为es根目录下的plugins目录。
Ø Network And HTTP
1．network.bind_host
Es节点绑定的地址，为一个ip地址（IPv4或IPv6）
2．network.publish_host
Es发布的地址，其它节点通过这个地址与其进行通信
3．network.host
该节点网络地址，也是一个ip地址，如果设置了该属性，则network.bind_host与network.publish_host都不用再设置了，比如我这里三台机子设置的值分别为：
118.200.108.82、118.200.108.83、118.200.108.84。
4．transport.tcp.port
节点之间通信的端口，默认为9300，在我们应用程序中调用es的方法提交索引创建时也是使用的这个端口。
5．http.port
http访问端口，默认是9200，通过这个端口，调用方可以索引查询请求。
6．http.max_content_length
设置内容的最大容量，默认是100MB
7．http.enabled
是否禁止http访问，默认是false。
Ø Discovery
1 discovery.zen.minimum_master_nodes
设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）。
2 discovery.zen.ping.timeout
设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错
3 discovery.zen.ping.multicast.enabled
设置是否打开多播来发现来发现节点，默认是true
4 discovery.zen.ping.unicast.hosts
配置 config/elasticsearch.yml 文件
# ---------------------------------- Cluster -----------------------------------
#定义es集群名称
cluster.name: es5-cluster
# ------------------------------------ Node ------------------------------------
#定义该节点的名称，各个节点不能重复
node.name: es1
# ----------------------------------- Paths ------------------------------------
#配置数据目录
path.data: /data1/hadoop/es5/data
#配置日志目录
path.logs: /data1/hadoop/es5/logs
# ----------------------------------- Memory -----------------------------------
#关闭锁定内存
bootstrap.memory_lock: false
# ---------------------------------- Network -----------------------------------
#指定本机IP地址，每个节点都要修改
network.host: 192.168.1.222
#指定http访问端口
http.port: 9200
# --------------------------------- Discovery ----------------------------------
#广播地址
discovery.zen.ping.unicast.hosts: ["es1:9300", "es2:9300", "es3:9300"]
discovery.zen.minimum_master_nodes: 3
# 增加新的参数，这样head插件可以访问es
http.cors.enabled: true
http.cors.allow-origin: "*"
配置bin/elasticsearch文件
#由于es5.0依赖的是jdk8，所以需要下载jdk8并指定PAHT路径
export PATH=/home/hadoop/jdk1.8.0_101/bin:$PATH
export JAVA_HOME=/home/hadoop/jdk1.8.0_101
export ES_HOME=/home/hadoop/elasticsearch-5.0.0
启动
./bin/elasticsearch -d
可能遇到的问题：
问题一：
[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter:
Java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMPandCONFIG_SECCOMP_FILTERcompiledinatorg.elasticsearch.bootstrap.Seccomp.linuxImpl(Seccomp.java:349) ~[elasticsearch-5.0.0.jar:5.0.0]
at org.elasticsearch.bootstrap.Seccomp.init(Seccomp.java:630) ~[elasticsearch-5.0.0.jar:5.0.0]
原因：报了一大串错误，大家不必惊慌，其实只是一个警告，主要是因为你Linux版本过低造成的。
解决方案：
1、重新安装新版本的Linux系统
2、警告不影响使用，可以忽略
问题二：
ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
原因：无法创建本地文件问题,用户最大可创建文件数太小
解决方案：
切换到root用户，编辑limits.conf配置文件， 添加类似如下内容：
vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096备注：* 代表Linux所有用户名称（比如 hadoop）
保存、退出、重新登录才可生效
问题三：
max number of threads [1024] for user [es] likely too low, increase to at least [2048]
原因：无法创建本地线程问题,用户最大可创建线程数太小
解决方案：切换到root用户，进入limits.d目录下，修改90-nproc.conf 配置文件。
vi /etc/security/limits.d/90-nproc.conf
找到如下内容：
* soft nproc 1024
修改为
* soft nproc 2048问题四：
max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
原因：最大虚拟内存太小
解决方案：切换到root用户下，修改配置文件sysctl.conf
vi /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
然后重新启动elasticsearch，即可启动成功。
问题五：
ElasticSearch启动找不到主机或路由
原因：ElasticSearch 单播配置有问题
解决方案：
检查ElasticSearch中的配置文件
vi config/elasticsearch.yml
找到如下配置：
discovery.zen.ping.unicast.hosts:[“192.168..:9300”,”192.168..:9300”]
一般情况下，是这里配置有问题，注意书写格式
问题六：
org.elasticsearch.transport.RemoteTransportException: Failed to deserialize exception response from stream
原因:ElasticSearch节点之间的jdk版本不一致
解决方案：ElasticSearch集群统一jdk环境
问题七：
Unsupported major.minor version 52.0
原因：jdk版本问题太低
解决方案：更换jdk版本，ElasticSearch5.0.0支持jdk1.8.0
问题八：
bin/elasticsearch-plugin install license
ERROR: Unknown plugin license
原因：ElasticSearch5.0.0以后插件命令已经改变
解决方案：使用最新命令安装所有插件
bin/elasticsearch-plugin install x-pack
5.2以上常见问题
1、启动 elasticsearch 如出现异常 can not run elasticsearch as root
解决方法：创建ES 账户，修改文件夹 文件 所属用户 组
2、启动异常：ERROR: bootstrap checks failed
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
问题原因：因为Centos6不支持SecComp，而ES5.2.1默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。详见 ：https://github.com/elastic/elasticsearch/issues/22899
解决方法：在elasticsearch.yml中配置bootstrap.system_call_filter为false，注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
3、启动后，如果只有本地可以访问，尝试修改配置文件 elasticsearch.yml
中network.host(注意配置文件格式不是以 # 开头的要空一格， ： 后要空一格)
为 network.host: 0.0.0.0
默认端口是 9200
注意：关闭防火墙 或者开放9200端口
4、ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
解决方法：切换到root用户，编辑limits.conf 添加类似如下内容
vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 40965、max number of threads [1024] for user [lish] likely too low, increase to at least [2048]
解决：切换到root用户，进入limits.d目录下修改配置文件。
vi /etc/security/limits.d/90-nproc.conf
修改如下内容：
* soft nproc 1024
修改为
* soft nproc 20486、max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
解决：切换到root用户修改配置sysctl.conf
vi /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
然后，重新启动elasticsearch，即可启动成功。
7、 expected settings to start with ‘object’, instead was [VALUE_STRING]]
Exception in thread "main" ElasticsearchParseException[malformed, expected settings to start with 'object', instead was [VALUE_STRING]]
at org.elasticsearch.common.settings.loader.XContentSettingsLoader.load(XContentSettingsLoader.java:70)
at org.elasticsearch.common.settings.loader.XContentSettingsLoader.load(XContentSettingsLoader.java:50)
at org.elasticsearch.common.settings.loader.YamlSettingsLoader.load(YamlSettingsLoader.java:50)
at org.elasticsearch.common.settings.Settings$Builder.loadFromStream(Settings.java:938)
at org.elasticsearch.common.settings.Settings$Builder.loadFromPath(Settings.java:927)
at org.elasticsearch.node.internal.InternalSettingsPreparer.prepareEnvironment(InternalSettingsPreparer.java:102)
at org.elasticsearch.bootstrap.Bootstrap.initialEnvironment(Bootstrap.java:230)
at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:270)
at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121)
at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112)
at org.elasticsearch.cli.SettingCommand.execute(SettingCommand.java:54)
at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:122)
at org.elasticsearch.cli.Command.main(Command.java:88)
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:89)
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:82)
Refer to the log for complete error details.可能原因是 elasticsearch.yml配置文件格式上有细微的错误。
例如
cluster.name:es-cluster （错误）冒号后少一个空格
cluster.name: es-cluster （正确）
8 Could not find JavaVersionChecker
[es@master bin]$ ./elasticsearch
Error: Could not find or load main class org.elasticsearch.tools.JavaVersionChecker
[es@master bin]$ cd 可能原因：es安装目录安装在root下，将es安装目录迁移至es用户目录，或其他目录，避免放在root目录
elasticsearch 6 请求头问题
"error" : "Content-Type header [application/x-www-form-urlencoded] is not supported",
"status" : 406
解办法参考：
406请求错误解析
参考：
Elasticsearch搭建–适用每天增量为3亿的数据量
如果部署中遇到问题，可以提问，互相交流！