【超详细】手把手教你ElasticSearch集群搭建

1. ElasticSearch快速入门

1.1. 基本介绍

ElasticSearch特色
Elasticsearch是实时的分布式搜索分析引擎，内部使用Lucene做索引与搜索
- 实时性：新增到 ES 中的数据在1秒后就可以被检索到，这种新增数据对搜索的可见性称为“准实时搜索”
- 分布式：意味着可以动态调整集群规模，弹性扩容
- 集群规模：可以扩展到上百台服务器，处理PB级结构化或非结构化数据
- 各节点组成对等的网络结构，某些节点出现故障时会自动分配其他节点代替其进行工作

Lucene是Java语言编写的全文搜索框架，用于处理纯文本的数据，但它只是一个库，提供建立索引、执行搜索等接口，但不包含分布式服务，这些正是 ES 做的

ElasticSearch使用场景
ElasticSearch广泛应用于各行业领域，比如维基百科， GitHub的代码搜索，电商网站的大数据日志统计分析， BI系统报表统计分析等。
- 提供分布式的搜索引擎和数据分析引擎
  比如百度，网站的站内搜索，IT系统的检索，数据分析比如热点词统计，电商网站商品TOP排名等。
- 全文检索，结构化检索，数据分析
  支持全文检索，比如查找包含指定名称的商品信息；支持结构检索，比如查找某个分类下的所有商品信息；
  还可以支持高级数据分析，比如统计某个商品的点击次数，某个商品有多少用户购买等等。
- 支持海量数据准实时的处理
  采用分布式节点，将数据分散到多台服务器上去存储和检索，实现海量数据的处理，比如统计用户的行为日志，能够在秒级别对数据进行检索和分析。

ElasticSearch基本概念介绍

ElasticSearch	Relational Database
Index	Database
Type	Table
Document	Row
Field	Column
Mapping	Schema
Everything is indexed	Index
Query DSL	SQL
GET http://...	SELECT * FROM table...
PUT http://...	UPDATE table SET...

索引（Index)
相比传统的关系型数据库，索引相当于SQL中的一个【数据库】，或者一个数据存储方案(schema)。
类型（Type）
一个索引内部可以定义一个或多个类型，在传统关系数据库来说，类型相当于【表】的概念。
文档（Document）
文档是Lucene索引和搜索的原子单位，它是包含了一个或多个域的容器，采用JSON格式表示。相当于传统数据库【行】概念
集群（Cluster）
集群是由一台及以上主机节点组成并提供存储及搜索服务，多节点组成的集群拥有冗余能力，它可以在一个或几个节点出现故障时保证服务的整体可用性。
节点（Node）
Node为集群中的单台节点，其可以为master节点亦可为slave节点（节点属性由集群内部选举得出）并提供存储相关数据的功能
切片（shards)
切片是把一个大文件分割成多个小文件然后分散存储在集群中的多个节点上，可以将其看作mysql的分库分表概念。 Shard有两种类型：primary主片和replica副本，primary用于文档存储，每个新的索引会自动创建5个Primary shard；Replica shard是Primary Shard的副本，用于冗余数据及提高搜索性能。

注意： ES7之后Type被舍弃，只有Index(等同于数据库+表定义）和Document（文档，行记录）。

1.2 ElasticSearch安装

下载ElasticSearch服务
下载最新版ElasticSearch7.10.2： https://www.elastic.co/cn/start

解压安装包

tar -xvf elasticsearch-7.10.2-linux-x86_64.tar.gz

ElasticSearch不能以Root身份运行，需要单独创建一个用户
```
1. groupadd elsearch
2. useradd elsearch -g elsearch -p elasticsearch
3. chown -R elsearch:elsearch  /usr/local/elasticsearch-7.10.2
```
执行以上命令，创建一个名为elsearch用户，并赋予目录权限。
修改配置文件
vi config/elasticsearch.yml, 默认情况下会绑定本机地址，外网不能访问，这里要修改下：
```
# 外网访问地址
network.host: 0.0.0.0
```

关闭防火墙

systemctl stop  firewalld.service
systemctl disable  firewalld.service

指定JDK版本

最新版的ElasticSearch需要JDK11版本，下载JDK11压缩包，并进行解压。

修改环境配置文件

vi bin/elasticsearch-env

参照以下位置，追加一行，设置JAVA_HOME，指定JDK11路径。

JAVA_HOME=/usr/local/jdk-11.0.11

# now set the path to java
if [ ! -z "$JAVA_HOME" ]; then
  JAVA="$JAVA_HOME/bin/java"
else
  if [ "$(uname -s)" = "Darwin" ]; then
    # OSX has a different structure
    JAVA="$ES_HOME/jdk/Contents/Home/bin/java"
  else
    JAVA="$ES_HOME/jdk/bin/java"
  fi
fi

启动ElasticSearch
- 切换用户
  su elsearch
- 以后台常驻方式启动
  bin/elasticsearch -d

问题记录
出现max virtual memory areas vm.max_map_count [65530] is too low, increase to at least 错误信息
修改系统配置：
- vi /etc/sysctl.conf
  添加
  vm.max_map_count=655360
  执行生效
  sysctl -p
- vi /etc/security/limits.conf
  在文件末尾添加
```
* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

elsearch soft nproc 125535

elsearch hard nproc 125535
```
  重新切换用户即可：
  su - elsearch
访问验证
访问地址：http://192.168.116.140:9200/_...
启动状态有green、yellow和red。 green是代表启动正常。

1.3 Kibana服务安装

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。

到官网下载， Kibana安装包, 与之对应7.10.2版本，选择Linux 64位版本下载，并进行解压。
```
tar -xvf kibana-7.10.2-linux-x86_64.tar.gz
```
Kibana启动不能使用root用户，使用上面创建的elsearch用户，进行赋权：
```
chown -R elsearch:elsearch kibana-7.10.2-linux-x86_64
```

修改配置文件

vi config/kibana.yml , 修改以下配置：

# 服务端口
server.port: 5601
# 服务地址
server.host: "0.0.0.0"
# elasticsearch服务地址
elasticsearch.hosts: ["http://192.168.116.140:9200"]

启动kibana
```
./kibana -q
```
看到以下日志，代表启动正常
```
log   [01:40:00.143] [info][listening] Server running at http://0.0.0.0:5601
```
如果出现启动失败的情况，要检查集群各节点的日志，确保服务正常运行状态。
访问服务
http://192.168.116.140:5601/a...

1.4 ES的基础操作

进入Kibana管理后台
地址： http://192.168.116.140:5601
进入"Dev Tools"栏：

在Console中输入命令进行操作。

分片设置：
这里增加名为orders的索引，因为是单节点，如果副本数，是会出现错误。
```
PUT orders
{
    "settings": {
        "index": {
            "number_of_shards": 2,
            "number_of_replicas": 2
        }
    }
}
```
查看索引信息，会出现yellow提示：
因为单节点模式，只有主节点信息：
删除重新创建：
```
PUT orders
{
    "settings": {
        "index": {
            "number_of_shards": 2,
            "number_of_replicas": 0
        }
    }
}
```
将分片数设为0，再次查看，则显示正常：

索引

3.1 新建索引orders

## 创建索引
PUT orders

3.2 查询索引orders

## 查询索引
GET orders

通过查询命令，能查看到对应信息，默认分片数和副本数都为1：

"number_of_shards" : "1", ## 主分片数
"number_of_replicas" : "1", ## 副分片数

3.3 删除索引

## 删除索引
DELETE orders

3.4 索引的设置

## 设置索引
PUT orders
{
  "settings": {
    "index": {
      "number_of_shards": 1, 
      "number_of_replicas": 0
    }
  }
}

文档

4.1 创建文档

## 创建文档，生成默认的文档id
POST orders/_doc
{
  "name": "袜子1双",
  "price": "200",
  "count": 1,
  "address": "北京市"
}
## 创建文档，生成自定义文档id
POST orders/_doc/1
{
  "name": "袜子1双",
  "price": "2",
  "count": 1,
  "address": "北京市"
}

4.2 查询文档

## 根据指定的id查询
GET orders/_doc/1
## 根据指定条件查询文档
GET orders/_search
{
  "query": {
    "match": {
      "address": "北京市"
    }
  }
}
## 查询全部文档
GET orders/_search

4.3 更新文档

## 更新文档
POST orders/_doc/1
{
  "price": "200"
}
## 更新文档
POST orders/_update/1
{
  "doc": {
    "price": "200"
  }
}

4.4 删除文档

## 删除文档
DELETE orders/_doc/1

域

对于映射，只能进行字段添加，不能对字段进行修改或删除，如有需要，则重新创建映射。

## 设置mapping信息
PUT orders/_mappings
{
  "properties":{
    "price": {
      "type": "long"
    }
  }
}
## 设置分片和映射
PUT orders
{
  "settings": {
    "index": {
      "number_of_shards": 1, 
      "number_of_replicas": 0
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text"
      },
      "price": {
        "type": "long"
      },
      "count": {
        "type": "long"
      },
      "address": {
        "type": "text"
      }
    }
  }
}