Linux下安装ElasticSearch集群

一、环境说明

---

虚拟机名称	节点名称	内存及说明
hadoop002	node-1	2G 默认配置其为【Master】
hadoop003	node-2	2G Node节点1
hadoop004	node-3	2G Node节点1

软件	版本	说明
JDK	1.8+	es 高版本以后需要Java11
elasticsearch	7.8.0	当前最新版本为8.1 官网地址

二、安装步骤

1. 安装JDK，可参考我的其他博文：jdk安装

2. 上传es到集群中某台虚拟机中，如hadoop002上的/tools目录下

3. 解压安装至/training目录下,执行：

   tar -zvxf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /training/
   

4. 重名名（可选做），进入/training目录下执行:

   mv  elasticsearch-7.8.0 es-cluster
   

5. 因安全问题，es不允许root用户操作，需要新建用户（在所有节点上都需要新增用户）：

   useradd es #新增 es 用户
   passwd es #为 es 用户设置密码,然后输入密码，如1
   

6. 使用root用户将elasticserch整个安装包所属用户由root用户修改为es用户，该操作需要在集群中所有节点进行操作，执行命令：

   chown -R es:es /training/es-cluster #文件夹所有者
   

7. 使用es用户进入到es安装目录下的config目录下，修改elasticsearch.yml，在该文件末尾添加如下内容：（读者自行修改成自己的环境）

   #集群名称
   cluster.name: cluster-es
   ##节点名称，每个节点的名称不能重复
   node.name: node-1
   ##ip 地址，每个节点的地址不能重复
   network.host: hadoop003
   #是不是有资格主节点
   node.master: true
   node.data: true
   http.port: 9200
   ## head 插件需要这打开这两个配置
   http.cors.allow-origin: "*"
   http.cors.enabled: true
   http.max_content_length: 200mb
   ##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
   cluster.initial_master_nodes: ["node-1"]
   ##es7.x 之后新增的配置，节点发现
   discovery.seed_hosts: ["hadoop002:9300","hadoop003:9300","hadoop004:9300"]
   gateway.recover_after_nodes: 2
   network.tcp.keep_alive: true
   network.tcp.no_delay: true
   transport.tcp.compress: true
   ##集群内同时启动的数据任务个数，默认是 2 个
   cluster.routing.allocation.cluster_concurrent_rebalance: 16
   ##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
   cluster.routing.allocation.node_concurrent_recoveries: 16
   ##初始化数据恢复时，并发恢复线程的个数，默认 4 个
   cluster.routing.allocation.node_initial_primaries_recoveries: 16
   

8. 使用root用户修改/etc/security/limits.conf ，并分发文件至其他节点

   # 在文件末尾中增加下面内容
   es soft nofile 65536
   es hard nofile 65536
   

   分发至其他节点命令：

   scp -r /etc/security/limits.conf root@hadoop003:/etc/security/limits.conf
   scp -r /etc/security/limits.conf root@hadoop004:/etc/security/limits.conf
   

9. 使用root用户修改/etc/security/limits.d/20-nproc.conf，并分发文件至其他节点

   # 在文件末尾中增加下面内容
   es soft nofile 65536
   es hard nofile 65536
   * hard nproc 4096
   # 注：* 带表 Linux 所有用户名称
   

   分发至其他节点命令：

   scp -r /etc/security/limits.d/20-nproc.conf root@hadoop003:/etc/security/limits.d/20-nproc.conf
   scp -r /etc/security/limits.d/20-nproc.conf root@hadoop004:/etc/security/limits.d/20-nproc.conf
   

10. 使用root用户修改/etc/sysctl.conf，并分发文件至其他节点

    # 在文件中增加下面内容
    vm.max_map_count=655360
    

    分发至其他节点命令：

    scp -r /etc/sysctl.conf root@hadoop003:/etc/sysctl.conf
    scp -r /etc/sysctl.conf root@hadoop004:/etc/sysctl.conf
    

    为使得文件修改生效，需要重新加载（所有节点都需执行）：

    sysctl -p
    

11. 使用es用户将配置好后的es安装目录整个分发至Hadoop003和hadoop004节点

    scp -r /training/es-cluster es@hadoop003:/training/
    scp -r /training/es-cluster es@hadoop004:/training/
    

12. 使用es用户在hadoop003上对es安装目录下的config目录下的elasticsearch.yml文件进行修改：

    #集群名称
    cluster.name: cluster-es
    ##节点名称，每个节点的名称不能重复
    node.name: node-2
    ##ip 地址，每个节点的地址不能重复
    network.host: hadoop003
    #是不是有资格主节点
    node.master: true
    node.data: true
    http.port: 9200
    ## head 插件需要这打开这两个配置
    http.cors.allow-origin: "*"
    http.cors.enabled: true
    http.max_content_length: 200mb
    ##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
    cluster.initial_master_nodes: ["node-1"]
    ##es7.x 之后新增的配置，节点发现
    discovery.seed_hosts: ["hadoop002:9300","hadoop003:9300","hadoop004:9300"]
    gateway.recover_after_nodes: 2
    network.tcp.keep_alive: true
    network.tcp.no_delay: true
    transport.tcp.compress: true
    ##集群内同时启动的数据任务个数，默认是 2 个
    cluster.routing.allocation.cluster_concurrent_rebalance: 16
    ##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
    cluster.routing.allocation.node_concurrent_recoveries: 16
    ##初始化数据恢复时，并发恢复线程的个数，默认 4 个
    cluster.routing.allocation.node_initial_primaries_recoveries: 16
    

13. 使用es用户在hadoop004上对es安装目录下的config目录下的elasticsearch.yml文件进行修改：

    #集群名称
    cluster.name: cluster-es
    ##节点名称，每个节点的名称不能重复
    node.name: node-3
    ##ip 地址，每个节点的地址不能重复
    network.host: hadoop004
    #是不是有资格主节点
    node.master: true
    node.data: true
    http.port: 9200
    ## head 插件需要这打开这两个配置
    http.cors.allow-origin: "*"
    http.cors.enabled: true
    http.max_content_length: 200mb
    ##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
    cluster.initial_master_nodes: ["node-1"]
    ##es7.x 之后新增的配置，节点发现
    discovery.seed_hosts: ["hadoop002:9300","hadoop003:9300","hadoop004:9300"]
    gateway.recover_after_nodes: 2
    network.tcp.keep_alive: true
    network.tcp.no_delay: true
    transport.tcp.compress: true
    ##集群内同时启动的数据任务个数，默认是 2 个
    cluster.routing.allocation.cluster_concurrent_rebalance: 16
    ##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
    cluster.routing.allocation.node_concurrent_recoveries: 16
    ##初始化数据恢复时，并发恢复线程的个数，默认 4 个
    cluster.routing.allocation.node_initial_primaries_recoveries: 16
    

14. 分别进入hadoop003、hadoop004两台节点，将es安装目录下的data目录下的nodes目录删除掉，如不删除，则无法显示其他两个节点

15. 使用es用户分别在hadoop002、hadoop003、hadoop004启动集群
    进入到es安装目录下，执行：

    #-d为后台进程方式启动
    bin/elasticsearch -d
    

16. 验证集群正确与否

    1. 在浏览器中输入：http://hadoop002:9200/_cat/nodes,成功界面如下：
       
       其中红色框框住的是node-1为Master节点

    2. 利用es浏览器插件，可以在chrome中查看：
       
       插件地址可以自行下载：

       链接：https://pan.baidu.com/s/1TmStGgQ2LTZOIe31ARnsNQ
       提取码：twak