分布式框架中间件总纲
https://www.jianshu.com/p/00aa796bb5b8
1、安装（基于docker）
（1）下载ealastic search（存储和检索）和kibana（可视化检索）
docker pull elasticsearch:7.4.2
docker pull kibana:7.4.2
（2）配置
# 将docker里的目录挂载到linux的/mydata目录中
# 修改/mydata就可以改掉docker里的
mkdir -p /mydata/elasticsearch/config
mkdir -p /mydata/elasticsearch/data
# es可以被远程任何机器访问
echo "http.host: 0.0.0.0" >/mydata/elasticsearch/config/elasticsearch.yml
# 递归更改权限，es需要访问
chmod -R 777 /mydata/elasticsearch/
（3）启动Elastic search
# 9200是用户交互端口 9300是集群心跳端口
# -e指定是单阶段运行
# -e指定占用的内存大小，生产时可以设置32G
docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms64m -Xmx512m" \
-v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
# 设置开机启动elasticsearch
docker update elasticsearch --restart=always
（4）启动kibana：
# kibana指定了了ES交互端口9200 # 5600位kibana主页端口 106.52.23.202 是自己安装 es的主机 IP
docker run --name kibana -e ELASTICSEARCH_HOSTS=http://106.52.23.202:9200 -p 5601:5601 -d kibana:7.4.2
# 设置开机启动kibana
docker update kibana --restart=always
（5）测试：查看elasticsearch版本信息： http://106.52.23.202:9200，显示如下：
{
"name": "66718a266132",
"cluster_name": "elasticsearch",
"cluster_uuid": "xhDnsLynQ3WyRdYmQk5xhQ",
"version": {
"number": "7.4.2",
"build_flavor": "default",
"build_type": "docker",
"build_hash": "2f90bbf7b93631e52bafb59b3b049cb44ec25e96",
"build_date": "2019-10-28T20:40:44.881551Z",
"build_snapshot": false,
"lucene_version": "8.2.0",
"minimum_wire_compatibility_version": "6.8.0",
"minimum_index_compatibility_version": "6.0.0-beta1"
},
"tagline": "You Know, for Search"
}
显示elasticsearch 节点信息 http://106.52.23.202:9200/_cat/nodes，显示如下：
127.0.0.1 14 99 25 0.29 0.40 0.22 dilm * 66718a266132
66718a266132代表上面的结点
*代表是主节点
2、初步检索
1）检索es信息
（1）GET /_cat/nodes：查看所有节点
如：http://106.52.23.202:9200/_cat/nodes
127.0.0.1 12 97 3 0.00 0.01 0.05 dilm * 66718a266132
66718a266132代表结点
*代表是主节点
（2）GET /_cat/health：查看es健康状况，【green表示健康值正常】
如： http://106.52.23.202:9200/_cat/health
1613741055 13:24:15 elasticsearch green 1 1 0 0 0 0 0 0 - 100.0%
（3）GET /_cat/master：查看主节点
如： http://106.52.23.202:9200/_cat/master
089F76WwSaiJcO6Crk7MpA 127.0.0.1 127.0.0.1 66718a266132
主节点唯一编号
虚拟机地址
（4）GET/_cat/indicies：查看所有索引 ，等价于mysql数据库的show databases;
如：http://106.52.23.202:9200/_cat/indices
green open .kibana_task_manager_1 DhtDmKrsRDOUHPJm1EFVqQ 1 0 2 3 40.8kb 40.8kb
green open .apm-agent-configuration vxzRbo9sQ1SvMtGkx6aAHQ 1 0 0 0 230b 230b
green open .kibana_1 rdJ5pejQSKWjKxRtx-EIkQ 1 0 5 1 18.2kb 18.2kb
这3个索引是kibana创建的
2）新增文档
保存一个数据，保存在哪个索引的哪个类型下（哪张数据库哪张表下），保存时用唯一标识指定
# # 在customer索引下的external类型下保存1号数据
PUT customer/external/1
# POSTMAN输入
http://106.52.23.202:9200/customer/external/1
{
"name":"John Doe"
}
PUT和POST区别：
POST新增。如果不指定id，会自动生成id。指定id就会修改这个数据，并新增版本号；
(1) 可以不指定id，不指定id时永远为创建
(2) 指定不存在的id为创建
(3) 指定存在的id为更新，而版本号会根据内容变没变而觉得版本号递增与否PUT可以新增也可以修改。PUT必须指定id；由于PUT需要指定id，我们一般用来做修改操作，不指定id会报错。
(1) 必须指定id
(2) 版本号总会增加
(3)怎么记：put和java里map.put一样必须指定key-value。而post相当于mysql insert
返回数据：
带有下划线开头的，称为元数据，反映了当前的基本信息。
{
"_index": "customer", 表明该数据在哪个数据库下；
"_type": "external", 表明该数据在哪个类型下；
"_id": "1", 表明被保存数据的id；
"_version": 1, 被保存数据的版本
"result": "created", 这里是创建了一条数据，如果重新put一条数据，则该状态会变为updated，并且版本号也会发生变化。
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 0,
"_primary_term": 1
}
3）查看文档
GET /customer/external/1
http://106.52.23.202:9200/customer/external/1
{
"_index": "customer",
"_type": "external",
"_id": "1",
"_version": 10,
"_seq_no": 18,//并发控制字段，每次更新都会+1，用来做乐观锁
"_primary_term": 6,//同上，主分片重新分配，如重启，就会变化
"found": true,
"_source": {
"name": "John Doe"
}
}
乐观锁用法：通过“if_seq_no=1&if_primary_term=1”，当序列号匹配的时候，才进行修改，否则不修改。
实例：将id=1的数据更新为name=1，然后再次更新为name=2，起始1_seq_no=18，_primary_term=6
（1）将name更新为1
PUT http://106.52.23.202:9200/customer/external/1?if_seq_no=18&if_primary_term=6
（2）将name更新为2，更新过程中使用seq_no=18
PUT http://106.52.23.202:9200/customer/external/1?if_seq_no=18&if_primary_term=6
{
"error": {
"root_cause": [
{
"type": "version_conflict_engine_exception",
"reason": "[1]: version conflict, required seqNo [18], primary term [6]. current document has seqNo [19] and primary term [6]",
"index_uuid": "mG9XiCQISPmfBAmL1BPqIw",
"shard": "0",
"index": "customer"
}
],
"type": "version_conflict_engine_exception",
"reason": "[1]: version conflict, required seqNo [18], primary term [6]. current document has seqNo [19] and primary term [6]",
"index_uuid": "mG9XiCQISPmfBAmL1BPqIw",
"shard": "0",
"index": "customer"
},
"status": 409
}
出现更新错误。
（3）查询新的数据
GET http://106.52.23.202:9200/customer/external/1
{
"_index": "customer",
"_type": "external",
"_id": "1",
"_version": 11,
"_seq_no": 19,
"_primary_term": 6,
"found": true,
"_source": {
"name": "1"
}
}
能够看到_seq_no变为19
（4）再次更新，更新成功
PUT http://106.52.23.202:9200/customer/external/1?if_seq_no=19&if_primary_term=1
POST customer/externel/1/_update
{
"doc":{
"name":"111"
}
}
或者
POST customer/externel/1
{
"doc":{
"name":"222"
}
}
或者
PUT customer/externel/1
{
"doc":{
"name":"222"
}
}
4）更新文档_update
不同：带有update情况下
（1）POST操作会对比源文档数据，如果相同不会有什么操作，文档version不增加。
（2）PUT操作总会重新保存并增加version版本
POST时带_update对比元数据如果一样就不进行任何操作。看场景：
（1）对于大并发更新，不带update
（2）对于大并发查询偶尔更新，带update；对比更新，重新计算分配规则
- 实操案例
（1）POST更新文档，带有_update
http://106.52.23.202:9200/customer/external/1/_update
image.png
如果再次执行更新，则不执行任何操作，序列号也不发生变化
返回
{
"_index": "customer",
"_type": "external",
"_id": "1",
"_version": 12,
"result": "noop", // 无操作
"_shards": {
"total": 0,
"successful": 0,
"failed": 0
},
"_seq_no": 20,
"_primary_term": 6
}
POST更新方式，会对比原来的数据，和原来的相同，则不执行任何操作（version和_seq_no）都不变。
（2）POST更新文档，不带_update
在更新过程中，重复执行更新操作，数据也能够更新成功，不会和原来的数据进行对比。
{
"_index": "customer",
"_type": "external",
"_id": "1",
"_version": 13,
"result": "updated",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 21,
"_primary_term": 6
}
5）删除文档或索引
DELETE customer/external/1 #删除索引
DELETE customer #删除文档
DELETE customer/external #没有删除类型这种概念（无效语句）
注：elasticsearch并没有提供删除类型的操作，只提供了删除索引和文档的操作。
实例：删除id=1的数据，删除后继续查询
DELETE http://106.52.23.202:9200/customer/external/1
{
"_index": "customer",
"_type": "external",
"_id": "1",
"_version": 14,
"result": "deleted",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 22,
"_primary_term": 6
}