单机多节点 elasticsearch 集群安全认证

es 版本：7.6.2
部署环境：CentOS Linux release 7.6.1810 (Core)

一：生成 ca 证书

cd 到 es 的安装目录，并执行下面的命令来生成 ca 证书：

./bin/elasticsearch-certutil ca Elasticsearch

碰到第一个直接回车，不用管。

碰到第二个输入密码，例如 123456。

完成后会在当前目录生成一个文件：elastic-stack-ca.p12

二：用 ca 证书签发节点证书

./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

需要输入密码时就直接输入刚才的密码，需要输入路径的地方不要输入地址，就直接回车，之后会生成一个 elastic-certificates.p12 文件。

三：将节点证书迁移到指定目录

先创建目录用于存放节点证书：

mkdir ./config/certificates

移动节点证书到该目录：

mv ./elastic-certificates.p12 ./config/certificates/

赋值权限给非 root 用户（如自己创建的 es 用户），不然会出现无法操作的问题:

chmod 777 ./config/certificates/elastic-certificates.p12
chown -R es:es ./config/certificates

四：将凭证复制到集群中的每一个 es 节点

就是在每个 es 节点都创建 certificates 目录，并将之前生成的 elastic-certificates.p12 证书复制到该目录（不再需要重新生成啦）。

五：修改 es 配置文件

每一个 es 节点都需要修改

下面是我创建的 3 个节点的配置文件：

es-9200 节点：

# 集群名称，三台集群，要配置相同的集群名称！！！
cluster.name: es-cluster
# 节点名称
node.name: es-9200
# 是否有资格被选举为master，ES默认集群中第一台机器为主节点
node.master: true
# 是否存储数据
node.data: true
#最⼤集群节点数，为了避免脑裂，集群节点数最少为 半数+1
node.max_local_storage_nodes: 3
# 修改 network.host 为 0.0.0.0，表示对外开放，如对特定ip开放则改为指定ip
network.host: 192.168.1.101
# 设置对外服务http端口，默认为9200
http.port: 9200
# 内部节点之间沟通端口
transport.tcp.port: 9901
# 候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["192.168.1.101:9901","192.168.1.101:9902","192.168.1.101:9903"]
# 初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["es-9200"]
# 数据和日志目录
#path.data: /data/es/data
#path.logs: /data/es/logs
# 设置集群中N个节点启动时进行数据恢复，默认为1
gateway.recover_after_nodes: 3 

#bootstrap.memory_lock: true
#bootstrap.system_call_filter: false

# 跨域，如果安装了 elasticsearch-head 插件，那么前两个配置也会用到
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Type,Content-Length
# 安全认证
xpack.security.enabled: true
xpack.security.authc.accept_default_password: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /opt/module/es-9200/config/certificates/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /opt/module/es-9200/config/certificates/elastic-certificates.p12

es-9300 节点:

# 集群名称，三台集群，要配置相同的集群名称！！！
cluster.name: es-cluster
# 节点名称
node.name: es-9300
# 是否有资格被选举为master，ES默认集群中第一台机器为主节点
node.master: true
# 是否存储数据
node.data: true
#最⼤集群节点数，为了避免脑裂，集群节点数最少为 半数+1
node.max_local_storage_nodes: 3
# 修改 network.host 为 0.0.0.0，表示对外开放，如对特定ip开放则改为指定ip
network.host: 192.168.1.101
# 设置对外服务http端口，默认为9200
http.port: 9300
# 内部节点之间沟通端口
transport.tcp.port: 9902
# 候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["192.168.1.101:9901","192.168.1.101:9902","192.168.1.101:9903"]
# 初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["es-9200"]
# 数据和日志目录
#path.data: /data/es/data
#path.logs: /data/es/logs
# 设置集群中N个节点启动时进行数据恢复，默认为1
gateway.recover_after_nodes: 3 

#bootstrap.memory_lock: true
#bootstrap.system_call_filter: false

# 跨域，如果安装了 elasticsearch-head 插件，那么前两个配置也会用到
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Type,Content-Length
# 安全认证
xpack.security.enabled: true
xpack.security.authc.accept_default_password: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /opt/module/es-9300/config/certificates/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /opt/module/es-9300/config/certificates/elastic-certificates.p12

es-9400 节点

# 集群名称，三台集群，要配置相同的集群名称！！！
cluster.name: es-cluster
# 节点名称
node.name: es-9400
# 是否有资格被选举为master，ES默认集群中第一台机器为主节点
node.master: true
# 是否存储数据
node.data: true
#最⼤集群节点数，为了避免脑裂，集群节点数最少为 半数+1
node.max_local_storage_nodes: 3
# 修改 network.host 为 0.0.0.0，表示对外开放，如对特定ip开放则改为指定ip
network.host: 192.168.1.101
# 设置对外服务http端口，默认为9200
http.port: 9400
# 内部节点之间沟通端口
transport.tcp.port: 9903
# 候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["192.168.1.101:9901","192.168.1.101:9902","192.168.1.101:9903"]
# 初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["es-9200"]
# 数据和日志目录
#path.data: /data/es/data
#path.logs: /data/es/logs
# 设置集群中N个节点启动时进行数据恢复，默认为1
gateway.recover_after_nodes: 3 

#bootstrap.memory_lock: true
#bootstrap.system_call_filter: false

# 跨域，如果安装了 elasticsearch-head 插件，那么前两个配置也会用到
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Type,Content-Length
# 安全认证
xpack.security.enabled: true
xpack.security.authc.accept_default_password: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /opt/module/es-9400/config/certificates/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /opt/module/es-9400/config/certificates/elastic-certificates.p12

需要注意的点：

将 xpack.security.transport.ssl.keystore.path 和 xpack.security.transport.ssl.truststore.path 替换为自己的 es 安装路径。

六：添加密码

每一个 es 节点都需要

./bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password
# 输入密码：第一步中设置的密码，例如本样例中的123456
./bin/elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password
# 输入密码：第一步中设置的密码，例如本样例中的123456

ps: 如果询问你是否要创建 elasticsearch.keystore 文件，输入 y 后按回车即可。

七：逐个启动节点

./bin/elasticsearch

后续确认没问题的话可以改成后台启动：

./bin/elasticsearch -d

八：设置密码

在第一个节点设置即可，会自动同步到其他节点

./bin/elasticsearch-setup-passwords  interactive
# 下面会要输入很多密码，都要自己能记住，以后要用
# 需要设置 elastic，apm_system，kibana，kibana_system，logstash_system，beats_system

九：通过浏览器 or 终端访问 es

实际上第一次访问的时候会要求输入账号密码（如下图），我这里已经不是第一次了，因此不再需要输入。

通过终端来查看是否成功：

curl --user elastic:<自己设置的密码> http://192.168.1.101:9200

十：通过 Java API 来操作 es 集群

1. 配置 pom 文件，引入相关依赖。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0modelVersion>
    <parent>
        <groupId>org.springframework.bootgroupId>
        <artifactId>spring-boot-starter-parentartifactId>
        <version>2.7.12version>
        <relativePath/> 
    parent>
    <groupId>com.rainfallgroupId>
    <artifactId>es-secureartifactId>
    <version>0.0.1-SNAPSHOTversion>
    <name>es-securename>
    <description>es7.6.2 安全认证description>
    <properties>
        <java.version>1.8java.version>
    properties>
    <dependencies>
        
        <dependency>
            <groupId>org.elasticsearch.clientgroupId>
            <artifactId>x-pack-transportartifactId>
            <version>7.8.1version>
        dependency>
        <dependency>
            <groupId>org.elasticsearchgroupId>
            <artifactId>elasticsearchartifactId>
            <version>7.6.2version>
        dependency>
        
        <dependency>
            <groupId>org.elasticsearch.clientgroupId>
            <artifactId>elasticsearch-rest-high-level-clientartifactId>
            <version>7.6.2version>
        dependency>
        
        <dependency>
            <groupId>org.apache.logging.log4jgroupId>
            <artifactId>log4j-apiartifactId>
            <version>2.8.2version>
        dependency>
        <dependency>
            <groupId>org.apache.logging.log4jgroupId>
            <artifactId>log4j-coreartifactId>
            <version>2.8.2version>
        dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.coregroupId>
            <artifactId>jackson-databindartifactId>
            <version>2.9.9version>
        dependency>
        
        <dependency>
            <groupId>junitgroupId>
            <artifactId>junitartifactId>
            <version>4.12version>
        dependency>

        <dependency>
            <groupId>org.springframework.bootgroupId>
            <artifactId>spring-boot-starterartifactId>
        dependency>

        <dependency>
            <groupId>org.projectlombokgroupId>
            <artifactId>lombokartifactId>
            <optional>trueoptional>
        dependency>
        <dependency>
            <groupId>org.springframework.bootgroupId>
            <artifactId>spring-boot-starter-testartifactId>
            <scope>testscope>
        dependency>
    dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.bootgroupId>
                <artifactId>spring-boot-maven-pluginartifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombokgroupId>
                            <artifactId>lombokartifactId>
                        exclude>
                    excludes>
                configuration>
            plugin>
        plugins>
    build>

project>

2. 例子：添加 doc

public class DocInsert {
    public static void main(String[] args) throws IOException {
        CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
        // 设置用户名以及密码
        UsernamePasswordCredentials usernamePasswordCredentials = new UsernamePasswordCredentials("elastic", "123456");
        credentialsProvider.setCredentials(AuthScope.ANY, usernamePasswordCredentials);

        RestClientBuilder builder = RestClient.builder(new HttpHost("192.168.1.101", 9200, "http"))
                .setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider));
        RestHighLevelClient client = new RestHighLevelClient(builder);

        // 插入数据
        IndexRequest indexRequest = new IndexRequest();
        indexRequest.index("user1").id("1003");

        User user = new User("xiao li","男",22);

        // 向es插入数据必须将数据转换成JSON格式
        ObjectMapper objectMapper = new ObjectMapper();
        String userJson = objectMapper.writeValueAsString(user);

        indexRequest.source(userJson, XContentType.JSON);
        IndexResponse res = client.index(indexRequest, RequestOptions.DEFAULT);
        System.out.println(res.getResult());

        client.close();
    }
}

3. 例子：查询刚才添加的 doc 数据

public class DocGet {
    public static void main(String[] args) throws IOException {
        CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
        // 设置用户名以及密码
        UsernamePasswordCredentials usernamePasswordCredentials = new UsernamePasswordCredentials("elastic", "123456");
        credentialsProvider.setCredentials(AuthScope.ANY, usernamePasswordCredentials);

        RestClientBuilder builder = RestClient.builder(new HttpHost("192.168.1.101", 9200, "http"))
                .setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider));
        RestHighLevelClient client = new RestHighLevelClient(builder);

        // 查询数据
        GetRequest getRequest = new GetRequest();
        getRequest.index("user1");
        getRequest.id("1003");

        GetResponse response = client.get(getRequest, RequestOptions.DEFAULT);
        System.out.println(response.getSourceAsString());

        client.close();
    }
}

十一：Kibana 访问带有安全认证的 es 集群

从官网下载与 es 版本一致的 Kibana，下载完成后上传到 linux 服务器，进行安装。

接着对config 目录下的 kibana.yml 配置文件进行修改：

#配置端口号
server.port: 5601
#配置网络访问地址，建议使用内网 ip 或 0.0.0.0 表示谁都可以访问
server.host: "0.0.0.0"
#配置es链接地址(es集群,可以用逗号分隔)
elasticsearch.hosts: ["http://192.168.1.101:9200","http://192.168.1.101:9300","http://192.168.1.101:9400"]
# kibana 在 es 中的索引
kibana.index: ".kibana"
##明文认证 es 账户密码，要用的账户为 kibana。（不过更加推荐密文设置，下面会提到）
#elasticsearch.username: "kibana"
#elasticsearch.password: "123456"
# 不增加下面会导致 kibana 启动失败，字符串内容是什么无所谓，保证不少于 32 个字符就行。
xpack.encryptedSavedObjects.encryptionKey: "something_at_least_32_characters_123123"
xpack.reporting.encryptionKey: "something_at_least_32_characters_12312345"
xpack.security.encryptionKey: "something_at_least_32_characters_658568"
#配置中文语言界面
i18n.locale: "zh-CN"

密文认证方式为：

/usr/share/kibana/bin/kibana-keystore --allow-root create
/usr/share/kibana/bin/kibana-keystore --allow-root add elasticsearch.username # 输入kibana
/usr/share/kibana/bin/kibana-keystore --allow-root add elasticsearch.password # 输入自己配置的密码，我这是 123456

启动 kibana：

./bin/kibana --allow-root # 要关闭服务的话输入 exit 后回车。

此外，也可以选择后台启动：

nohup ./bin/kibana --allow-root &

要关闭服务的话，查找 Kibana 进程，找到对应的 Kibana 进程号，然后 kill 掉即可。

ps -ef | grep '.*node/bin/node.*src/cli' # 查找方式

之后访问 kibana 就需要输入账号和密码了。

十三：可能会遇到的坑

1.不要用 root 用户去启动 es，需要切换到其他用户，记得事先赋予相应的权限。

chown -R es:es /opt/module/es-9200 # 如将 es-9200 目录属于的用户和用户组都指定为 es

2.集群成功启动，但是浏览器即使输入账户密码也无法成功登录。具体而言报错为：failed to authenticate user [elastic]。

可能原因是一开始部署了安全认证的单节点 es，并在登录后做了增删改查。

解决办法是重新生成节点证书和账户、密码。可以参考：链接。

3.es 启动时报异常：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

原因是系统虚拟内存默认最大映射数为 65530，无法满足 es 系统要求，需要调整为 262144 以上。

解决办法是设置 vm.max_map_count 参数：

# 修改文件
sudo vim /etc/sysctl.conf
# 添加参数
vm.max_map_count = 262144

重新加载/etc/sysctl.conf配置：

sysctl -p

4.es 启动时报异常：max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

解决办法：

sudo vi /etc/security/limits.conf

将下面这行代码添加到这个配置文件的末尾就好：

es soft nofile 65536 # es 是自己的用户名
es hard nofile 65536

5.如果啥也不配置，上来直接启动 es，会报如下错误：

ERROR: [1] bootstrap checks failed
[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
ERROR: Elasticsearch did not exit normally - check the logs at /opt/module/elasticsearch-7.6.2/logs/elasticsearch.log

这点和 windows 上的 es 不同，windows 可以直接成功运行。

解决办法是做相应的配置。

6.kibana 启动报错 socket hang up 错误

原因是配置文件中的 elasticsearch.hosts 需要的是 ip 地址 + es 中的 http 端口号，错写成 ip 地址 + tcp 端口号就会出现端口访问不到的问题。