ElasticSearch 7.17+kibanan安装和使用

文章目录

  • 说明
  • 分享
  • 资料
  • 服务主页
  • 安装
    • 普通方式安装
      • 系统配置
      • 安装软件
      • 软件配置
        • elasticsearch.yml
        • jvm.options
      • 启动并验证
      • 安装kibana
    • 用户认证
      • 开启x-pack验证
      • 创建内容用户
      • 访问测试
      • 设置密码
      • 忘记密码
      • kibana关联账号和密码
    • https加密
      • 传输层加密添加证书
      • ElasticSearch开启https
        • Elasticsearch与Kibana 加密连接
      • Kibana 开启https
  • 建议
  • 总结

说明

本博客每周五更新一次。
本文在原Elasticsearch安装基础上增加插件x-pack用户权限认证和Kibana页面管理,丰富Elasticsearch使用场景。
安装分为三个层次

  1. 普通安装,仅启用Kibana,不启用x-pack
  2. 用户认证,开启x-pack,Kibana自动开启用户管理。
  3. https加密,为Elasticsearch和Kibana增加数据安全。

分享

  • 大数据博客列表
  • 开发记录汇总

资料

  • Elasticsearch 官网 报价,演示版本7.17.0
  • 软件下载官方提供多种版本普通版、Elastic版(ecctl)、No Jdk版、OSS版、OSS No Jdk版
  • 安全配置文档
  • 各个版本收费信息
  • elastic CSDN 官方博客网址

服务主页

  • kibana 主页地址:http://localhost:5601/app/home#/
  • Elasticsearch 接口地址:http://localhost:9200/

安装

普通方式安装

系统配置

  • 修改系统最大文件描述大小默认为4096,最小修改为65535,修改文件:/etc/security/limits.conf默认添加内容如下:
* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535
  • 修改系统最大虚拟内存,默认65535,最小262144,修改文件:/etc/sysctl.conf,末尾增加内容:vm.max_map_count=262144,立即生效命令:/sbin/sysctl -p

安装软件

从官网下载 7.17版本,解压到安装目录即可。

  • 安装启动用户必须为非root用户。
# 创建安装目录
mkdir /usr/local/elasticsearch
# 解压安装包
cd /usr/local/elasticsearch
tar -zxvf elasticsearch-7.17.0-linux-x86_64.tar.gz
tar -zxvf kibana-7.17.0-linux-x86_64.tar.gz

#创建用户
useradd 用户
# 授权
chown -R 用户: /usr/local/elasticsearch/

####### 切换到新建用户,后续操作都使用该用户完成####
su 用户

软件配置

elasticsearch.yml
  • 编辑文件:config/elasticsearch.yml,设置如下
# ---------------------------------- Cluster -----------------------------------
# 集群名称
cluster.name: my-application
# 集群中主节点的节点的集合
cluster.initial_master_nodes: ["node-1"]

#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
# 节点名称
node.name: node-1

# ----------------------------------- Paths ------------------------------------
# 设置data存储目录
path.data: /usr/local/elasticsearch/elasticsearch-7.17.0/data
# 设置logs日志的目录
path.logs: /usr/local/elasticsearch/elasticsearch-7.17.0/logs

# ---------------------------------- Network -----------------------------------
#
# 默认仅localhost访问,配置当前服务器ip,允许ip访问
network.host: 192.168.10.200

# 服务端口,默认为9200
http.port: 9200
jvm.options

编辑文件:config/jvm.options填写如下内容

-Xms1g
-Xmx1g

启动并验证

  • 启动:软件根目录执行命令:bin/elasticsearch
  • 验证:浏览器打开网址:http://服务器ip:9200

安装kibana

解压安装包,修改配置文件:vi config/kibana.yml,指定Elasticsearch地址:

# kibana 服务地址,默认仅localhost可访问
server.host: "192.168.10.200"
# Elasticsearch服务地址
elasticsearch.hosts: ["http://192.168.10.200:9200"]
# 系统语言默认英文,改为中文
i18n.locale: "zh-CN"

运行启动软件即可。命令:bin/kibana,登录地址:http://ip:5601

用户认证

开启x-pack验证

编辑文件:config/elasticsearch.yml,设置如下内容:

# 开启 xpack
xpack.security.enabled: true
# 确保节点不会无意中连接到可能在网络上运行的其他群集
discovery.type: single-node
# 开启传输层 ssl加密,不开启服务无法启动
xpack.security.transport.ssl.enabled: true

注意:

  • 一旦开启x-pack,必须开启TLS/SSL加密传输,否则会有日志报错如下:
Transport SSL must be enabled if security is enabled on a [basic] license. Please set [xpack.security.transport.ssl.enabled] to [true] or disable security by setting [xpack.security.enabled] to [false]

创建内容用户

  • 启动Elasticsearch:bin/elasticsearch
  • 新建终端窗口,创建内置用户。
# 自定义密码
bin/elasticsearch-setup-passwords interactive

# 随机生成密码
bin/elasticsearch-setup-passwords auto

# 随机生成结果如下
Changed password for user apm_system
PASSWORD apm_system = h1d0q4mfPvbgxqQeLERj

Changed password for user kibana_system
PASSWORD kibana_system = OzKzbRb84YtgyvoXkvXO
# 登录Kibana账号
Changed password for user kibana
PASSWORD kibana = OzKzbRb84YtgyvoXkvXO

Changed password for user logstash_system
PASSWORD logstash_system = kLFsukpLcsyGsqNFGMuW

Changed password for user beats_system
PASSWORD beats_system = ESvQWN3jbM4s7f78CU72

Changed password for user remote_monitoring_user
PASSWORD remote_monitoring_user = KvLoRUhEKutOXrL23ZWL

Changed password for user elastic
PASSWORD elastic = Hm3pZkPVsEpwPC7Kj9QA

注意:

  • 为用户设置密码后,无法再次运行该命令。elasticelasticsearch-setup-passwords

访问测试

# 不带认证访问会报认证异常
curl http://localhost:9200/_cat/indices
# -u参数指定账号,执行后会提示输入密码
curl -u elastic http://localhost:9200/_cat/indices
# -u参数指定账号和密码,格式:user:password
curl -u elastic:123456 http://localhost:9200/_cat/indices

设置密码

修改用户密码:curl -XPOST -u elastic http://localhost:9200/_security/user/elastic/_password -H "Content-Type:application/json" -d "{\"password\":\"abcdefg\"}"

忘记密码

如果忘记密码,可以先取消认证,即注释掉上面config/elasticsearch.yml中添加的两个配置,然后重启ElasticSearch,然后找到一个类型.security-X的index,删除掉就可以回到最初无密码认证的状态了:

# 查看.security-X存在与否
curl http://localhost:9200/_cat/indices | grep ".security"
# 删除index,我这里是.security-7
curl -XDELETE http://localhost:9200/.security-7

kibana关联账号和密码

编辑文件:vi config/kibana.yml,设置账号和密码

xpack.security.enabled: true
elasticsearch.username: "kibana"
elasticsearch.password: "XXXXXX"

web页面登录时,管理员账号为 Kibana 用户

https加密

如果不配置 HTTPS 连接,某些 Elasticsearch 功能(比如令牌和 API 密钥)将被禁用,该安全层确保所有进出集群的通信都是安全的,HTTPS 配置建立在“传输层TLS安全配置之上” ,所以它要求你的集群已经配置了传输层安全配置。

https是加密有三个地方

  • Elasticsearch 节点间传输层通信加密
  • Elasticsearch 对外服务https加密
  • Kibana服务https加密

传输层加密添加证书

由于Elasticsearch集群中的每个节点都是客户端和集群中其他节点的服务器,因此所有传输证书都必须是客户端和服务器证书。
Elasticsearch附带加密签名证书工具elasticsearch-certutil生成数字证书,操作如下:

# 生成根证书 执行后确认回车两次
bin/elasticsearch-certutil ca
# 执行后确认回车三次
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

获得可用于加密通信的TLS/SSL证书elastic-certificates.p12,创建目录config/certs,将证书复制到config/certs的目录中,然后在config/elasticsearch.yml文件配置如下:

xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

重新启动Elasticsearch集群中的所有节点,应用传输层加密。

ElasticSearch开启https

此处使用与传输层相同认证文件,编辑config/elasticsearch.yml,追加如下代码:

#开启http层加密
xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: certs/elastic-certificates.p12
Elasticsearch与Kibana 加密连接

使用前面生成文件:elastic-certificates.p12,分解为私匙、公共证书和CA证书

# Private Key 私钥,回车即可
openssl pkcs12 -in elastic-certificates.p12 -nocerts -nodes > client.key
# Public Certificate 公共证书,回车即可
openssl pkcs12 -in elastic-certificates.p12 -clcerts -nokeys  > client.cer
# CA Certificate 签署公共证书的CA,回车即可
openssl pkcs12 -in elastic-certificates.p12 -cacerts -nokeys -chain > client-ca.cer

Kibana根目录下创建文件夹:config/certs,将文件client.cer、client.key、client-ca.cer复制到该目录。

编辑Kibana配置文件vi config/kibana.yml,添加如下配置:

# 更新Elasticsearch连接地址
elasticsearch.hosts: ["https://192.168.10.200:9200"]

# ssl加密
elasticsearch.ssl.certificate: config/certs/client.cer
elasticsearch.ssl.key: config/certs/client.key
elasticsearch.ssl.certificateAuthorities: [ "config/certs/client-ca.cer" ]
elasticsearch.ssl.verificationMode: certificate

重启kibana登录后请求Elasticsearch确认是否可操作。
ElasticSearch 7.17+kibanan安装和使用_第1张图片

Kibana 开启https

复用Elasticsearch数字证书,编辑Kibana配置文件vi config/kibana.yml,增加如下内容:

server.ssl.enabled: true
server.ssl.certificate: config/certs/client.cer
server.ssl.key: config/certs/client.key

重启kibana服务,即可通过https://localhost:5601访问kibana UI进行操作。

建议

  • https建议仅开启Kibana的https访问即可,Elasticsearch服务和节点间通信不建议开启https功能,功能测试中,出现过由于ssl加密,Elasticsearch无法启动问题。

总结

  • 安装配置过程繁琐,按顺序安装一遍有利于理解Elasticsearch+Kibana原理,最新版8刚发布不久,简化了安装过程,但发行时间较短,存在bug,不建议使用。

你可能感兴趣的:(Elasticsearch,elasticsearch)