ES现在是很多系统中不可或缺的一部分，为了在使用时快速的部署一个ES环境，这里记录一下自己的一些操作步骤。
所有的操作都是基于Docker来的，没有装Docker的话请参照官方文档安装
采用的ES版本为6.8.13
宿主机系统为Centos 7.8
单机版添加密码验证
集群版使用ssl传输
集群搭建，点击直达
单机环境部署
- 初始化相关目录
mkdir -p /usr/local/elasticsearch/{config,plugins,data}
- 准备配置文件
vim /usr/local/elasticsearch/config/elasticsearch.yml
将下面的内容粘贴到elasticsearch.yml
# 集群名
cluster.name: docker-cluster
# 节点名
node.name: node
# 监听ip
network.host: 0.0.0.0
# 开启x-pack插件,用于添加账号密码
xpack.security.enabled: true
- 修改系统设置
修改该配置是为了防止es在启动时出现下面的错误
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
/sbin/sysctl -p
- 添加ik分词器
ik分词器为常用的中文分词器，如果你不需要用到中文搜索，这步可以跳过
下载ik分词器：适用于ES 6.8.13的版本，版本不同的自己找ES同版本的tag下载
将下载的elasticsearch-analysis-ik-6.8.13.zip上传到/usr/local/elasticsearch/plugins下
unzip elasticsearch-analysis-ik-6.8.13.zip -d analysis-ik
rm -rf elasticsearch-analysis-ik-6.8.13.zip
- 设置配置权限
因为es不允许使用root用户启动，而es镜像中使用的启动用户uid和gid都是1000，所以我们才需要在这里将相关的目录所有者改为1000，不更改的话，在启动时会出现权限错误异常
chown 1000:1000 /usr/local/elasticsearch -R
- 启动镜像
docker run -d --name elasticsearch \
-v /usr/local/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /usr/local/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-v /usr/local/elasticsearch/data:/usr/share/elasticsearch/data \
-v /etc/localtime:/etc/localtime \
-e ES_JAVA_OPTS="-Xms512m -Xmx512m" \
-e "discovery.type=single-node" \
-p 9200:9200 -p 9300:9300 \
--restart=always \
elasticsearch:6.8.13
ES_JAVA_OPTS设置了ES的启动内存，自己按需修改
discovery.type=single-node表示该es为单节点，不加这个的话，你的es健康状态会显示为黄色
- 设置密码
docker exec -it elasticsearch bash
elasticsearch-setup-passwords interactive
根据提示，先输入y，然后输入密码，这里会要求输入多次，主要是需要给好几个系统添加密码，用户默认elastic
至此，单节点的elasticsearch就部署好了，通过elasticsearch head即可连接使用
集群部署
- 生成ca证书
该步骤仅需要在任意一台服务器上执行一次即可
docker run -it --rm -v ~/certs:/usr/share/elasticsearch/config/certs elasticsearch:6.8.13 bash
# 进入目录
cd /usr/share/elasticsearch/config/certs/
# 生成ca
elasticsearch-certutil ca
# 生成p12证书
elasticsearch-certutil cert
# 退出
exit
生成的ssl证书在用户目录certs下cd ~/certs即可看到
后续步骤需要在每一台集群服务器上执行
- 初始化相关目录
mkdir -p /usr/local/elasticsearch/{certs,data}
- 修改系统设置
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
/sbin/sysctl -p
- 复制证书
将第一步生成的elastic-certificates.p12文件复制到/usr/local/elasticsearch/certs目录下 - 设置配置权限
chown 1000:1000 /usr/local/elasticsearch -R
- 启动镜像
这里使用的镜像是我基于elasticsearch:6.8.13二次封装的镜像，添加了ik分词器和集群配置文件，修改了时区，附上Dockerfile
docker run -d --name elasticsearch \
-v /usr/local/elasticsearch/certs:/usr/share/elasticsearch/config/certs \
-v /usr/local/elasticsearch/data:/usr/share/elasticsearch/data \
-e NODE_LIST="node-2:9300,node-3:9300" \
-e ES_JAVA_OPTS="-Xms8G -Xmx8G" \
-e NODE_NAME="node-1" \
--hostname "node-1" \
--net host \
--restart=always \
--add-host "node-2:10.0.16.5" \
--add-host "node-3:10.0.16.6" \
f763180872/elasticsearch:6.8.13
NODE_LIST：配置集群中其他节点的地址，格式为：ip:port,ip2:port2
NODE_NAME：当前节点的name
- 设置密码
docker exec -it elasticsearch bash
elasticsearch-setup-passwords interactive
至此，搭建就完了
Java连接elasticsearch遇到的坑
我们一般在开发与测试的使用使用的单节点的es，节约资源嘛，而在生产的时候，那肯定就需要上集群了，这时候在开发与测试环境的时候，java的连接配置就会与生产有一些出入
我一般都是用的spring-boot-starter-data-elasticsearch搭配x-pack-transport来连接
先引入相关的依赖
org.springframework.boot
spring-boot-starter-data-elasticsearch
org.elasticsearch.client
transport
org.springframework.data
spring-data-elasticsearch
3.1.2.RELEASE
org.elasticsearch.client
x-pack-transport
6.8.13
org.elasticsearch.plugin
transport-netty4-client
6.8.13
org.elasticsearch.client
transport
6.8.13
org.elasticsearch
elasticsearch
6.8.13
版本号这东西自己注意下哈，es对这还是挺敏感的
public class EsConfig {
private String userPassword;
private String clusterName;
private boolean isCluster;
private String host;
private int port;
/**
* ES索引名
*/
private String index;
/**
* ES TYPE
*/
private String type;
@Bean
public TransportClient transportClient() throws UnknownHostException {
// 解决netty-transport版本冲突
System.setProperty("es.set.netty.runtime.available.processors", "false");
log.info("===> init x-pack elasticsearch client, cluster.name[{}], user[{}], address[{}:{}], isCluster[{}]",
clusterName, userPassword, host, port, isCluster);
Settings.Builder builder = Settings.builder()
.put("xpack.security.user", userPassword)
.put("cluster.name", clusterName);
// 如果连接的ES集群,需要添加的配置
if (isCluster) {
log.info("===> use ssl connection");
builder.put("xpack.security.transport.ssl.enabled", true)
.put("xpack.security.transport.ssl.verification_mode", "certificate")
.put("xpack.security.transport.ssl.keystore.path", "certs/elastic-certificates.p12")
.put("xpack.security.transport.ssl.truststore.path", "certs/elastic-certificates.p12");
}
return new PreBuiltXPackTransportClient(builder.build())
.addTransportAddress(new TransportAddress(InetAddress.getByName(host), port));
}
}
这里主要是通过isCluster这个配置来区分的
如果连接的是集群，由于我们之前为集群配置了一个ssl证书，所以java连接的时候也是需要使用那个证书的，所以会多出来几个配置