ElasticSearch

ES介绍

ES开源 可扩展 的 分布式 全文搜索和数据分析引擎

功能

• 分布式搜索引擎
• 全文检索
• 数据分析引擎
• 对海量数据进行近实时处理

索引库

GET /lagou-index
# 创建
PUT /lagou-index
# 删除
DELETE /lagou-index

映射

PUT /lagou-index
PUT /lagou-index/_mapping/
{
    "properties": {
        "name": {
            "type": "text",
            "analyzer": "ik_max_word"
        },
        "job": {
            "type": "text",
            "analyzer": "ik_max_word"
        }
    }
}

# 查看索引
GET /lagou-index/_mapping/

# 创建索引库和映射
PUT /lagou-index/
{
    "settings": {},
    "mappings": {
        "properties": {
            "name": {
                "type": "text",
                "analyzer": "ik_max_word"
            },
            "job": {
                "type": "text",
                "analyzer": "ik_max_word"
            }
        }
    }
}

文档

# 指定id,不指定自动生成
POST /lagou/_doc/{id}
{
    "name": "joe",
    "job": "engineer"
}

# 更新指定id文档字段,全量更新（更新所有字段，不指定的字段，更新后消失）
PUT /lagou/_doc/{id}
{
    "name": "joe",
    "job": "AI"
}

# 局部更新，只更新name，其他保持不变
POST /lagou/_update/{id}
{
    "doc": {
        "name": "joe",
    }
    
}

# 查询指定id
GET /lagou/_doc/{id}
#返回指定字段
GET /lagou/_doc/_source=name,job

# 查询所有
POST /lagou/_search
{
    "query":{
        "match_all": {} 
    }
}

# 删除
DELETE /lagou/_doc/{id}

POST /lagou/_doc/_delete_by_query
{
    "query": {
        "match": {
            "字段名": "搜索关键字"
        }
    }
}

聚合

ES中队数据集求最大，最小，求和，平均 称为指标聚合

数据分组称为 分桶，分组基础上进行指标聚合，称为 桶聚合

# 书的最大价格
POST /book/_search
{
    "size": 0,
    "aggs": {
        "max_price": {
            "max": {
                "field": "price"
            }
        } 
    }
}

ES集群

• 集群（Cluster）
  一个Elasticsearch集群由多个节点（Node）组成，每个集群都有一个共同的集群名称作为标识

• 一个Elasticsearch实例即一个Node

• node.master：表示节点是否具有成为主节点的资格

  • true代表的是有资格竞选主节点
  • false代表的是没有资格竞选主节点

• node.data：表示节点是否存储数据

Index写调优

• 副本数设置0
• 自动生成doc ID
• 合理设置mapping，对字段不分词，不索引，减少字段内容长度
• 调整_source字段，source 字段用于存储 doc 原始数据，对于部分不需要存储的字段，可以通过 includes excludes过滤
• 对analyzed的字段禁用norms ，Norms用于在搜索时计算doc的评分
• 调整索引的刷新间隔 ，默认1s,调整到30s
• 批处理
• Document的路由处理 ,默认的routing就是id，也可以在发送请求的时候，手动指定一个routing value

Search调优

• 数据分组
• Filter代替Query
• ID字段定义为keyword

段合并

段合并在进行索引和搜索时会自动进行

1. 当索引的时候，刷新（refresh）操作会创建新的段并将段打开以供搜索使用。
2. 合并进程选择一小部分大小相似的段，并且在后台将它们合并到更大的段中。这并不会中断索引和搜索。
3. 合并完成时的活动：
   1. 新的段被刷新（flush）到了磁盘。 写入一个包含新段且排除旧的和较小的段的新提交点
   2. 新的段被打开用来搜索。
   3. 老的段被删除。

Elasticsearch的乐观锁

Elasticsearch的多线程异步并发修改是基于自己的_version版本号进行乐观锁并发控制的

• 比较版本号,版本号相同修改可以成功
• 不相等就再次读取新的数据修改
• 删除操作也会对这条数据的版本号加1