ElasticSearch集群安装配置

ElasticSearch集群安装配置

ElasticSearch 7.2.0

1. 操作系统    
2. 软件及版本    
3. 安装包准备    
4. JDK安装    
5. ElasticSearch安装    
6. ElasticSearch-head安装    
7. Kibana安装    
8. 集群配置    
9. 安全验证

对人工智能感兴趣点下面链接

现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。

https://www.cbedai.net/u014646662

1 操作系统

• 操作系统：CentOS7.6
• 关闭防火墙：systemctl stop firewalld
• 禁止开机启动防火墙：systemctl disable firewalld
• 关闭linuxSE

vim /etc/selinux/config

SELINUX=disabled

2 软件及版本

 

JDK		11
nodejs		10.16.0
elasticsearch		7.2.0
elasticsearch-head		7.2.0
elasticsearch-analysis-ik		7.2.0
elasticsearch-analysis-pinyin		7.2.0
Kibana		7.2.0
metricbeat				7.2.0
Logstash				7.2.0

 

3 安装包准备

目录：/data/es/sort

4 JDK安装

1、卸载openJDK

查看openJDK：

rmp -qa |grep java

将上述查询结果全部卸载

yum remove open-java-1.7… … …

2、进入/opt目录下

cd /opt

3、解压JDK

tar -xzvf /data/es/sort/jdk-11.0.3_linux-x64_bin.tar.gz -C /opt/

mv  jdk-11.0.3 jdk

4、环境变量配置（这里包含了Node的环境变量）

export JAVA_HOME=/opt/jdk

export NODE_HOME=/opt/node

export NODE_PATH=$NODE_HOME/lib/node_modules

export CLASSPATH=.:$JAVA_HOME/lib

export PATH=$JAVA_HOME/bin:$NODE_HOME/bin:$PATH

5 ElasticSearch安装

1、安装步骤：可参见

https://blog.csdn.net/u014646662/article/details/88397715

使用非root用户（elk）

cd /opt

cp /data/es/sort/elasticsearch-7.2.0-linux-x86_64.tar.gz  ./

tar -xzvf elasticsearch-7.2.0-linux-x86_64.tar.gz

mv elasticsearch-7.2.0 elasticsearch

2、安装IK分词器

在/opt/elasticsearch/plugins下创建ik目录

mkdir /opt/elasticsearch/plugins/ik

cd /opt/elasticsearch/plugins/ik

把elasticsearch-analysis-ik-7.2.0.zip复制到/opt/elasticsearch/plugins/ik

cp /data/es/sort/elasticsearch-analysis-ik-7.2.0.zip  ./

解压

unzip elasticsearch-analysis-ik-7.2.0.zip

rm elasticsearch-analysis-ik-7.2.0.zip

3、安装pinyin分词器

在/opt/elasticsearch/plugins下创建pinyin目录

mkdir /opt/elasticsearch/plugins/pinyin

cd /opt/elasticsearch/plugins/pinyin

把elasticsearch-analysis-pinyin-7.2.0.zip复制到/opt/elasticsearch/plugins/pinyin

cp /data/es/sort/elasticsearch-analysis-pinyin-7.2.0.zip  ./

解压

unzip elasticsearch-analysis-pinyin-7.2.0.zip

rm elasticsearch-analysis-pinyin-7.2.0.zip

4、系统优化（允许远程访问）

不做优化，开启远程访问，es则无法启动

编辑: config/elasticsearch.yml、/etc/security/limits.conf、/etc/security/limits.d/20-nproc.conf、/etc/sysctl.conf四个文件(用root)

编辑：elasticsearch.yml（集群配置见本节第5步）

#修改 network.host: 自己的主机名或IP
vim config/elasticsearch.yml

编辑：/etc/security/limits.conf

vim /etc/security/limits.conf

# 在文件尾部追加下列内容
# esuser是你的用户名（elk）

esuser soft nofile 65536
esuser hard nofile 65536
esuser soft nproc 4096
esuser hard nproc 4096

编辑：/etc/security/limits.d/20-nproc.conf

vim /etc/security/limits.d/20-nproc.conf
# 修改为 esuser soft nproc 4096

编辑：/etc/sysctl.conf

vim /etc/sysctl.conf
vm.max_map_count=655360

 使配置生效

sysctl -p

5、elasticsearch.yml配置

#集群名

cluster.name: cluster-name

# 主节点

node.master: true

# 数据节点

node.data: true

# 数据存储位置

path.data: /data……

# 地址绑定

network.host: 0.0.0.0

# 端口（默认）

http.port: 9200

transport.tcp.port: 9300

#发现主机

discovery.seed_hosts: ["elk01","elk02","elk03"]

cluster.initial_master_nodes: ["elk01","elk02","elk03"]

# 允许插件访问

http.cors.enabled: true

http.cors.allow-origin: "*"

#开启安全验证

xpack.security.enabled: true

xpack.security.transport.ssl.enabled: true

xpack.security.transport.ssl.verification_mode: certificate

xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12

xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

http.cors.allow-headers: Authorization

6、启动es

第一次启动建议/opt/elasticsearch/bin/elasticsearch，既可以直接看到日志，也可以随时停止Ctrl+c

确定正常后，启动方式：/opt/elasticsearch/bin/elasticsearch -d（后台运行）

可通过kill杀死（jps可以看到es的进程id）

 

6 ElasticSearch-head安装

如果不做安全验证，这个可以装一下，这个工具还算是很好用

1、安装配置见：https://blog.csdn.net/u014646662/article/details/89491874/

2、安装nodejs

把node-v10.16.0-linux-x64.tar.xz复制到/opt下

解压：

node-v10.16.0-linux-x64.tar.xz

tar -xJvf node-v10.16.0-linux-x64.tar.xz

mv node-v10.16.0-linux-x64 node

环境变量：JDK环境变量配置时已经配过来

测试node

node -v
npm -v

3、安装Head

a、把elasticsearch-head-master.zip复制到/opt/elasticsearch目录下

b、解压：

unzip elasticsearch-head-master.zip

mv elasticsearch-head-master elasticsearch-head

c、进入elasticsearch-head

cd elasticsearch-head

d、查看package.json

e、更改Gruntfile.js

在connect-->server-->options下面添加：hostname:’*’，允许所有IP可以访问

f、修改elasticsearch-head/_site/app.js

更改：this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200 把localhost改为当前主机名或ip

 

g、 安装grunt

不要急，一步一步走

cd /opt/hadoop/elasticsearch/elasticsearch-head

npm install -g grunt-cli

npm install

h、 测试grunt

grunt -version

1. 启动Head（es启动后在启动）

cd elasticsearch-head

grunt server

5、访问

http://:9100

Head插件在没有安全验证时可以正常使用（es配置安全验证后，暂时未有解决办法）

7 Kibana安装

1、安装配置：https://blog.csdn.net/u014646662/article/details/88403679/

2、把kibana-7.2.0-linux-x86_64.tar.gz复制到/opt下

3、解压

tar kibana-7.2.0-linux-x86_64.tar.gz

mv kibana-7.2.0 kibana

4、配置

vim kibana.yml

#绑定ip

server.host: "0.0.0.0"

#es集群

elasticsearch.hosts: ["http://elk01:9200","http://elk02:9200","http://elk03:9200"]

#es如果有安全验证

#elasticsearch.username: "user"

#elasticsearch.password: "pass"

#中文

i18n.locale: "zh-CN"

5、启动

/opt/kibana/bin/kibana &

6、访问

http://IP:5601

8 集群配置

1、免密登录

ssh-keygen -t rsa （三次回车）

在当前用户目录下会生成.ssh目录

cat id_rsa.pub > authorized_keys

chmod 600 authorized_keys

authorized_keys的权限必须是600，否则免密登录失败

2、克隆现有状态

a、清理干净

如果在这之前，es启动过，无论是否成功，都要把数据全部删除，即把path.data的目录下的所有内容删除（清空目录）

b、克隆机器

克隆出两台机器，然后将这三台机器全部启动

c、启动es

首次启动es：bin/elasticsearch

当一切都配置好后，并且没有问题：bin/elasticsearch -d

9 安全验证

1、事前准备

A、ES的配置必须开启安全验证（具体配置内容，第5节已经说过来）

B、es集群已经正常启动

C、只需要在一台机器上执行下面的操作（只要是master就可以）

2、配置CA证书

cd /opt/elasticsearch

bin/elasticsearch-certutil ca

两次回车
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 
三次回车
mkdir config/certs

mv elastic-*.p12 config/certs/
scp -r  /opt/elasticsearch/config/certs esuser@node02:/opt/elasticsearch/config/
scp -r  /opt/elasticsearch/config/certs esuser@node03:/opt/elasticsearch/config/

将es的配置添加完整，即开启安全验证的相关配置（所有节点）

重启es

3、配置密码

bin/elasticsearch-setup-passwords interactive

根据提示逐个输入各个用户的密码

配置完成后重启es集群

4、Kibana配置密码

elasticsearch.username: "elastic"
elasticsearch.password: "*******"

启动Kibana

5、Kibana账户管理

a、访问IP:5601

b、进入管理界面

这时你可以先添加测试数据（这里就不说了）

点击管理

其他插件后续更新