方穹轩
方穹轩

ElasticSearch 7.x

Elasticsearch 7.x

简介

  • Elasticsearch是一个开源，基于Apache Lucene库构建的Restful搜索引擎
  • Elasticsearch是在Solr之后几年推出的。它提供了一个分布式，多租户能力的全文搜索引擎，具有HTTP Web界面（REST）和无架构JSON文档。 Elasticsearch的官方客户端库提供Java， Groovy， PHP， Ruby， Perl， Python， .NET和Javascript

官网地址

  • [官网]https://www.elastic.co/
  • [软件下载地址]https://www.elastic.co/downloads/

核心概念

  • 索引(index)
    • 一个索引可以理解成一个关系型数据库
  • 类型(type)
    • 一种type就像一类表，比如user表， order表
    • 注意：
      • ES 5.x中一个index可以有多种type
      • ES 6.x中一个index只能有一种type
      • ES 7.x以后已经移除type这个概念
  • 映射(mapping)
    • mapping定义了每个字段的类型等信息。相当于关系型数据库中的表结构
  • 文档(document)
    • 一个document相当于关系型数据库中的一行记录
  • 字段(field)
    • 相当于关系型数据库表的字段
  • 集群(cluster)
    • 集群由一个或多个节点组成，一个集群有一个默认名称"elasticsearch"
  • 节点(node)
    • 集群的节点，一台机器或者一个进程
  • 分片和副本(shard)
    • 副本是分片的副本。分片有主分片(primary Shard)和副本分片(replica Shard)之分
    • 一个Index数据在物理上被分布在多个主分片中，每个主分片只存放部分数据
    • 每个主分片可以有多个副本，叫副本分片，是主分片的复制

字段类型

核心数据类型

分类 类型 描述
字符串 text 用于全文索引，该类型的字段将通过分词器进行分词
字符串 keyword 不分词，只能搜索该字段的完整的值
数值型 long, integer, short, byte, double, float, half_float, scaled_float -
布尔 boolean -
二进制 binary 该类型的字段把值当做经过 base64 编码的字符串，默认不存储，且不可搜索
范围类型 integer_range, float_range, long_range, double_range, date_range 范围类型表示值是一个范围，而不是一个具体的值；譬如 age 的类型是 integer_range，那么值可以是 {"gte" : 20, "lte" : 40}；搜索 "term" :{"age": 21} 可以搜索该值
日期 date 由于Json没有date类型，所以es通过识别字符串是否符合format定义的格式来判断是否为date类型；format默认为strict_date_optiona_time||epoch_millis；格式"2022-01-01"，"2022/01/01 12:10:30"，或从开始纪元（1970年年1⽉ 1⽇日 0点） 开始的毫秒数

复杂数据类型

  • 数组类型 Array

    • ES中没有专门的数组类型, 直接使用[]定义即可，数组中所有的值必须是同一种数据类型, 不支持混合数据类型的数组
    • 字符串数组 [ "one", "two" ] ，整数数组 [ 1, 2 ]
    • Object对象数组 [ { "name": "Louis", "age": 18 }, { "name": "Daniel", "age": 17 }]
    • 同一个数组只能存同类型的数据，不能混存，譬如 [ 10, "some string" ] 是错误的

  • 对象类型 Object

    • 对象类型可能有内部对象

      {
    "name": "李蒙",
    "age": 14,
    "sex": "0",
    "class": "7(2)班",
    "birthday": "2005-10-15"
    "hobbies": [
        "阅读",
        "跑步"
    ],
    "address":
    {
        "province": "山东",
        "location":
        {
            "city": "日照"
        }
    }
}

专⽤用数据类型

  • IP类型

    IP类型的字段⽤用于存储IPv4或IPv6的地址, 本质上是⼀一个⻓长整型字段

索引

功能 请求方式 url 参数
新增 PUT(必须) localhost:9200/stu -
获取 GET localhost:9200/stu -
删除 DELETE localhost:9200/stu -
批量获取 GET localhost:9200/stu,tea -
获取所有1 GET localhost:9200/_all -
获取所有2 GET localhost:9200/_cat/indices?v -
存在 HEAD localhost:9200/stu -
关闭 POST localhost:9200/stu/_close -
打开 POST localhost:9200/stu/_open -
自动创建索引 PUT localhost:9200/_cluster/settings 见下
数据复制 POST localhost:9200/_reindex 见下

  • 新增

    PUT localhost:9200/stu

    // 响应
{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "stu"
}

  • 获取

    GET localhost:9200/stu

    // 响应
{
    "stu": {
        "aliases": {},//别名
        "mappings": {},//映射
        "settings": {
            "index": {
                "creation_date": "1576139082806",//创建时间
                "number_of_shards": "1",//分片
                "number_of_replicas": "1",//副本
                "uuid": "-ocQkbgoSyG2vDTsugK_9Q",
                "version": {
                    "created": "7020099"
                },
                "provided_name": "stu"
            }
        }
    }
}

  • 删除

    DELETE localhost:9200/stu

    {
    "acknowledged": true
}

  • 批量获取

    GET localhost:9200/stu,tea

    // 响应
{
    "stu": {
        "aliases": {},
        "mappings": {},
        "settings": {
            "index": {
                "creation_date": "1576139586417",
                "number_of_shards": "1",
                "number_of_replicas": "1",
                "uuid": "H9dyTutEQg-4OsV2Byt-gA",
                "version": {
                    "created": "7020099"
                },
                "provided_name": "stu"
            }
        }
    },
    "tea": {
        "aliases": {},
        "mappings": {},
        "settings": {
            "index": {
                "creation_date": "1576139593175",
                "number_of_shards": "1",
                "number_of_replicas": "1",
                "uuid": "nYhKuggbT_Wa2RI-M_COGA",
                "version": {
                    "created": "7020099"
                },
                "provided_name": "tea"
            }
        }
    }
}

  • 获取所有1

    GET localhost:9200/_all

    // 响应
{
    "stu": {
        "aliases": {},
        "mappings": {},
        "settings": {
            "index": {
                "creation_date": "1576139586417",
                "number_of_shards": "1",
                "number_of_replicas": "1",
                "uuid": "H9dyTutEQg-4OsV2Byt-gA",
                "version": {
                    "created": "7020099"
                },
                "provided_name": "stu"
            }
        }
    },
    "tea": {
        "aliases": {},
        "mappings": {},
        "settings": {
            "index": {
                "creation_date": "1576139593175",
                "number_of_shards": "1",
                "number_of_replicas": "1",
                "uuid": "nYhKuggbT_Wa2RI-M_COGA",
                "version": {
                    "created": "7020099"
                },
                "provided_name": "tea"
            }
        }
    }
}

  • 获取所有2

    GET localhost:9200/_cat/indices?v

    // 响应
health status index                           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_task_manager            IjZxE0H9TtmTrpBgzjr-qg   1   0          2            0     12.8kb         12.8kb
yellow open   stu                             H9dyTutEQg-4OsV2Byt-gA   1   1          0            0       283b           283b
yellow open   tea                             nYhKuggbT_Wa2RI-M_COGA   1   1          0            0       283b           283b

  • 存在

    HEAD localhost:9200/stu

    // 响应-存在
200 ok

  • 关闭

    POST localhost:9200/stu/_close

    // 响应
{
    "acknowledged": true,
    "shards_acknowledged": true
}

  • 打开

    POST localhost:9200/stu/_open

    // 响应
{
    "acknowledged": true,
    "shards_acknowledged": true
}

  • 自动创建索引

    插入文档时（见下）是否自动创建索引

    GET 请求http://localhost:9200/_cluster/settings 查看auto_create_index 的状态

    true自动创建

    • 修改auto_create_index 的状态

      PUT localhost:9200/_cluster/settings

      // 参数
{
    "persistent": {
        "action.auto_create_index": "true"//true或false
    }
}

  • 数据复制（结合索引别名，可以重建索引并导入数据）

    POST localhost:9200/_reindex

    {
  "source": {
    "index": "stu"
  },
  "dest": {
    "index": "stu_oth"
  }
}

索引别名

在开发中，随着业务需求的迭代，较⽼的业务逻辑就要⾯临更新甚⾄是重构，⽽对于es来说，为了适应新的业务逻辑，可能就要对原有的索引做⼀些修改，⽐如对某些字段做调整，甚⾄是重建索引。⽽做这些操作的时候，可能会对业务造成影响，甚⾄是停机调整等问题。由此，es提供了索引别名来解决这些问题。 索引别名就像⼀个快捷⽅式或是软连接，可以指向⼀个或多个索引，也可以给任意⼀个需要索引名的API来使⽤。别名的应⽤为程序提供了极⼤地灵活性

多个索引可以指定同一个别名，一个索引也可以指定多个别名

功能 请求方式 url 参数
查询 GET localhost:9200/_alias; localhost:9200/stu/_alias -
新增 POST localhost:9200/_aliases 见下
新增 PUT localhost:9200/stu/_alias/stu_v1.0 -
删除 POST localhost:9200/_aliases 见下
删除 DELETE localhost:9200/stu/_alias/stu_v1.0 -
重命名 POST localhost:9200/_aliases 见下

  • 新增

    POST localhost:9200/_aliases

    {
  "actions": [
    {
      "add": {
        "index": "stu",
        "alias": "stu_1214"
      }
    }
  ]
}

  • 删除

    POST localhost:9200/_aliases

    {
  "actions": [
    {
      "remove": {
        "index": "stu",
        "alias": "stu_v1.1"
      }
    }
  ]
}

  • 重命名

    POST localhost:9200/_aliases

    {
  "actions": [
    {
      "remove": {
        "index": "stu",
        "alias": "stu_1214"
      }
    },
    {
      "add": {
        "index": "stu",
        "alias": "stu_1215"
      }
    }
  ]
}

  • 当别名指定了多个索引，可以指定写某个索引

    POST localhost:9200/_aliases

    {
  "actions": [
    {
      "add": {
        "index": "stu",
        "alias": "alia_v1.0",
        "is_write_index": "true"
      }
    },
    {
      "add": {
        "index": "tea",
        "alias": "alia_v1.0"
      }
    }
  ]
}

映射

功能 请求方式 url 参数
新增 PUT localhost:9200/stu/_mapping 见下
获取 GET localhost:9200/stu/_mapping -
批量获取 GET localhost:9200/stu,tea/_mapping -
获取所有1 GET localhost:9200/_mapping -
获取所有2 GET localhost:9200/_all/_mapping -
修改 PUT localhost:9200/stu/_mapping 见下

  • 新增

    PUT localhost:9200/stu/_mapping

    // 参数
{
    "properties":
    {
        "name":
        {
            "type": "text"
        },
        "age": {
            "type": "long"
        },
        "sex": {
            "type": "keyword"
        },
        "class": {
            "type": "keyword"
        }
    }
}

  • 获取

    GET localhost:9200/stu/_mapping

    // 响应
{
    "stu": {
        "mappings": {
            "properties": {
                "age": {
                    "type": "long"
                },
                "class": {
                    "type": "keyword"
                },
                "name": {
                    "type": "text"
                },
                "sex": {
                    "type": "keyword"
                }
            }
        }
    }
}

  • 批量获取

    GET localhost:9200/stu,tea/_mapping

    // 响应
{
    "tea": {
        "mappings": {}
    },
    "stu": {
        "mappings": {
            "properties": {
                "age": {
                    "type": "long"
                },
                "class": {
                    "type": "keyword"
                },
                "name": {
                    "type": "text"
                },
                "sex": {
                    "type": "keyword"
                }
            }
        }
    }
}

  • 获取所有1

    GET localhost:9200/_mapping

    // 响应
{
    "stu": {
        "mappings": {
            "properties": {
                "age": {
                    "type": "long"
                },
                "class": {
                    "type": "keyword"
                },
                "name": {
                    "type": "text"
                },
                "sex": {
                    "type": "keyword"
                }
            }
        }
    },
    "tea": {
        "mappings": {}
    },
}

  • 获取所有2

    GET localhost:9200/_all/_mapping

    // 响应
{
    "stu": {
        "mappings": {
            "properties": {
                "age": {
                    "type": "long"
                },
                "class": {
                    "type": "keyword"
                },
                "name": {
                    "type": "text"
                },
                "sex": {
                    "type": "keyword"
                }
            }
        }
    },
    "tea": {
        "mappings": {}
    },
}

  • 修改

    注意：

    修改映射时，只能新增字段，不能修改或删除已存在的字段

    PUT localhost:9200/stu/_mapping

    // 参数
{
    "properties":
    {
        "name":
        {
            "type": "text"
        },
        "age": {
            "type": "long"
        },
        "sex": {
            "type": "keyword"
        },
        "class": {
            "type": "keyword"
        },
        "birthday": {
            "type": "date"
        }
    }
}

文档

功能 请求方式 url 参数
新增(指定id) PUT localhost:9200/stu/_doc/1 见下
新增(不指定id) POST(必须) localhost:9200/stu/_doc 见下
指定操作类型 PUT localhost:9200/stu/_doc/1?op_type=create 见下
查看 GET localhost:9200/stu/_doc/1 -
查看多个⽂文档 POST localhost:9200/_mget 见下
修改 POST localhost:9200/stu/_update/1 见下
删除 DELETE localhost:9200/stu/_doc/1 -
删除全部 POST localhost:9200/stu/_delete_by_query

  • 新增(指定id)

    PUT localhost:9200/stu/_doc/1

    // 参数
{
    "name": "杨光",
    "age": 14,
    "sex": "1",
    "class": "7(2)班",
    "birthday": "2005-08-26"
}

    // 响应
{
    "_index": "stu",
    "_type": "_doc",
    "_id": "1",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 0,
    "_primary_term": 3
}

  • 新增(不指定id)

    不指定id，系统会自动分配id

    POST localhost:9200/stu/_doc

    // 参数
{
    "name": "张世杰",
    "age": 13,
    "sex": "0",
    "class": "7(5)班",
    "birthday": "2004-11-01"
}

    // 响应
{
    "_index": "stu",
    "_type": "_doc",
    "_id": "C_SI-W4Bj7nk6pLmw4Er",//系统分配id
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 1,
    "_primary_term": 3
}

  • 指定操作类型

    若不指定插入时的操作类型，向已存在的id插入数据，原数据会被更新掉，并生成一个新的版本

    PUT localhost:9200/stu/_doc/1

    {
 "name": "杨光11",
 "age": 14,
 "sex": "1",
 "class": "7(2)班",
 "birthday": "2005-08-26"
}

    {
 "_index": "stu",
 "_type": "_doc",
 "_id": "1",
 "_version": 2,//产生新的版本
 "result": "updated",//执行结果时updated，而不是created
 "_shards": {
     "total": 2,
     "successful": 1,
     "failed": 0
 },
 "_seq_no": 2,
 "_primary_term": 3
}

    PUT localhost:9200/stu/_doc/1?op_type=create (向已存在的id插入数据会报错)

    // 参数
{
    "name": "杨光22",
    "age": 14,
    "sex": "1",
    "class": "7(2)班",
    "birthday": "2005-08-26"
}

    // 响应
{
    "error": {
        "root_cause": [
            {
                "type": "version_conflict_engine_exception",
                "reason": "[1]: version conflict, document already exists (current version [2])",
                "index_uuid": "H9dyTutEQg-4OsV2Byt-gA",
                "shard": "0",
                "index": "stu"
            }
        ],
        "type": "version_conflict_engine_exception",
        "reason": "[1]: version conflict, document already exists (current version [2])",
        "index_uuid": "H9dyTutEQg-4OsV2Byt-gA",
        "shard": "0",
        "index": "stu"
    },
    "status": 409
}

  • 查看

    GET localhost:9200/stu/_doc/1

    // 响应
{
    "_index": "stu",
    "_type": "_doc",
    "_id": "1",
    "_version": 2,
    "_seq_no": 2,
    "_primary_term": 3,
    "found": true,
    "_source": {
        "name": "杨光11",
        "age": 14,
        "sex": "1",
        "class": "7(2)班",
        "birthday": "2005-08-26"
    }
}

  • 查看多个⽂文档

    1. 方式一

      POST localhost:9200/_mget

      // 参数
{
    "docs": [
    {
        "_index": "stu",
        "_type": "_doc",
        "_id": "1"
    },
    {
        "_index": "stu",
        "_type": "_doc",
        "_id": "C_SI-W4Bj7nk6pLmw4Er"
    }]
}

      // 响应
{
    "docs": [
        {
            "_index": "stu",
            "_type": "_doc",
            "_id": "1",
            "_version": 3,
            "_seq_no": 3,
            "_primary_term": 3,
            "found": true,
            "_source": {
                "name": "杨光33",
                "age": 14,
                "sex": "1",
                "class": "7(2)班",
                "birthday": "2005-08-26"
            }
        },
        {
            "_index": "stu",
            "_type": "_doc",
            "_id": "C_SI-W4Bj7nk6pLmw4Er",
            "_version": 1,
            "_seq_no": 1,
            "_primary_term": 3,
            "found": true,
            "_source": {
                "name": "张世杰",
                "age": 13,
                "sex": "0",
                "class": "7(5)班",
                "birthday": "2004-11-01"
            }
        }
    ]
}

    2. 方式二

      POST localhost:9200/stu/_mget

      // 参数
{
    "docs": [
    {
        "_type": "_doc",
        "_id": "1"
    },
    {
        "_type": "_doc",
        "_id": "C_SI-W4Bj7nk6pLmw4Er"
    }]
}

    3. 方式三

      POST localhost:9200/stu/_doc/_mget

      // 参数
{
    "docs": [
    {
        "_id": "1"
    },
    {
        "_id": "C_SI-W4Bj7nk6pLmw4Er"
    }]
}

  • 修改

    1. 根据提供的⽂文档⽚片段更更新数据

      POST localhost:9200/stu/_update/1

      // 参数
{
    "doc": {
        "name": "杨光33",
        "age": 14,
        "sex": "1",
        "class": "7(2)班",
        "birthday": "2005-08-26"
    }
}

    2. 向_source字段，增加一个字段

      POST localhost:9200/stu/_update/1

      // 参数
{
   "script": "ctx._source.height = \"173cm\""
}

    3. 从_source字段，删除一个字段

      POST localhost:9200/stu/_update/1

      // 参数
{
   "script": "ctx._source.remove(\"height\")"
}

  • 删除

    DELETE localhost:9200/stu/_doc/1

    // 响应
{
    "_index": "stu",
    "_type": "_doc",
    "_id": "1",
    "_version": 6,
    "result": "deleted",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 6,
    "_primary_term": 3
}

  • 删除全部

    POST localhost:9200/stu/_delete_by_query

    // 参数
{
    "query": {
        "match_all": {
            
        }
    }   
}

查询搜索

数据准备：批量导入数据-ES提供了一个叫 bulk 的API 来进行批量操作

  • 数据

    {"index": {"_index": "stu", "_type": "_doc", "_id": 1}}
{"name":"杨光","age":14,"sex":"1","class":"7(2)班","birthday":"2005-08-26"}
{"index": {"_index": "stu", "_type": "_doc", "_id": 2}}
{"name":"张世杰","age":13,"sex":"0","class":"7(5)班","birthday":"2004-11-01"}
{"index": {"_index": "stu", "_type": "_doc", "_id": 3}}
{"name":"李蒙","age":14,"sex":"0","class":"7(2)班","birthday":"2005-10-15"}
{"index": {"_index": "stu", "_type": "_doc", "_id": 4}}
{"name":"李沁","age":15,"sex":"0","class":"7(3)班","birthday":"2004-10-15"}
{"index": {"_index": "stu", "_type": "_doc", "_id": 5}}
{"name":"王昭","age":14,"sex":"1","class":"7(3)班","birthday":"2005-01-26"}
{"index": {"_index": "stu", "_type": "_doc", "_id": 6}}
{"name":"李明","age":14,"sex":"1","class":"7(2)班","birthday":"2005-03-26"}
{"index": {"_index": "stu", "_type": "_doc", "_id": 7}}
{"name":"张璐","age":14,"sex":"1","class":"7(5)班","birthday":"2005-06-02"}
{"index": {"_index": "stu", "_type": "_doc", "_id": 8}}
{"name":"李思敏","age":14,"sex":"1","class":"7(3)班","birthday":"2005-06-02"}
{"index": {"_index": "stu", "_type": "_doc", "_id": 9}}
{"name":"吴民锡","age":13,"sex":"1","class":"7(5)班","birthday":"2006-04-02"}
{"index": {"_index": "stu", "_type": "_doc", "_id": 10}}
{"name":"赵曦","age":14,"sex":"0","class":"7(2)班","birthday":"2005-09-02"}

  • POST bulk

    curl -X POST "localhost:9200/_bulk" -H 'Content-Type: application/json' --data-binary @name

term(词条)查询

单词级别查询-词条查询不会分析查询条件，只有当词条和查询字符串完全匹配时，才匹配搜索；这些查询通常用于结构化的数据，比如： number, date, keyword等，而不是对text。也就是说，全文本查询之前要先对文本内容进行分词，而单词级别的查询直接在相应字段的反向索引中精确查找，单词级别的查询一般用于数值、日期等类型的字段上。

功能 请求方式 url 参数 描述
单条term查询 POST localhost:9200/stu/_search 见下 -
多条term查询 POST localhost:9200/stu/_search 见下 -
Exsit Query POST localhost:9200/stu/_search 见下 特定的字段中查找⾮非空值的⽂文档
Prefix Query POST localhost:9200/stu/_search 见下 查找包含带有指定前缀term的⽂文档
Wildcard Query POST localhost:9200/stu/_search 见下 支持通配符查询， *表示任意字符， ?表示任意单个字符
Regexp Query POST localhost:9200/stu/_search 见下 正则表达式查询
Ids Query POST localhost:9200/stu/_search 见下 通过id查询文档

  • 单条term查询

    POST localhost:9200/stu/_search

    // 参数
{
    "query":{
        "term":{
            "sex": "1"
        }
    }
}

    // 响应
{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": 0.9808292,
        "hits": [
            {
                "_index": "stu",
                "_type": "_doc",
                "_id": "1",
                "_score": 0.9808292,
                "_source": {
                    "name": "杨光",
                    "age": 14,
                    "sex": "1",
                    "class": "7(2)班",
                    "birthday": "2005-08-26"
                }
            }
        ]
    }
}

  • 多条term查询

    POST localhost:9200/stu/_search

    // 参数
{
    "query":{
        "terms":{
            "sex": ["0","1"]
        }
    }
}

  • Exsit Query

    POST localhost:9200/stu/_search

    // 参数
{
  "query": {
    "exists": {
      "field": "birthday"
    }
  }
}

  • Prefix Query

    POST localhost:9200/stu/_search

    // 参数
{
  "query": {
    "prefix": {
      "class": {
        "value": "7"
      }
    }
  }
}

  • Wildcard Query

    POST localhost:9200/stu/_search

    // 参数
{
  "query": {
    "wildcard": {
      "class": {
        "value": "*2*"
      }
    }
  }
}

  • Regexp Query

    POST localhost:9200/stu/_search

    // 参数
{
  "query": {
    "regexp": {
      "class": "7.*"
    }
  }
}

  • Ids Query

    POST localhost:9200/stu/_search

    // 参数
{
  "query": {
    "ids": {
      "values": [1,2]
    }
  }
}

full text(全文)查询

ElasticSearch引擎会先分析查询字符串，将其拆分成多个分词，只要已分析的字段中包含词条的任意一个，或全部包含，就匹配查询条件，返回该文档；如果不包含任意一个分词，表示没有任何⽂文档匹配查询条件

类型 请求方式 url 参数 描述
match_all POST localhost:9200/stu/_search 见下 查询全部
match POST localhost:9200/stu/_search 见下 分词匹配查询
multi_match POST localhost:9200/stu/_search 见下 多字段查询
match_phrase POST localhost:9200/stu/_search 见下 精确匹配
match_phrase_prefix POST localhost:9200/stu/_search 见下 模糊匹配（text）

  • match_all

    POST localhost:9200/nba/_search

    // 参数
{
    "query":{
        "match_all":{}
    },
    "from": 0,
    "size": 10
}

  • match

    POST localhost:9200/nba/_search

    // 参数
{
  "query": {
    "match": {
      "name": "张"
    }
  }
}

  • multi_match

    POST localhost:9200/nba/_search

    // 参数
{
  "query": {
    "multi_match": {
      "query": "世",// 查询条件
      "fields": ["name","class"]//查询哪些字段
    }
  }
}

  • match_phrase

    POST localhost:9200/nba/_search

    // 参数
{
  "query": {
    "match_phrase": {
      "class": "7(2)班"
    }
  }
}

  • match_phrase_prefix

    // 参数
{
  "query": {
    "match_phrase_prefix": {
      "name": "世杰"
    }
  }
}

范围查询

范围查询--日期、数字或字符串

POST localhost:9200/nba/_search

// 查询年龄14-15岁的学生
{
  "query": {
    "range": {
      "age": {
        "gte": 14,
        "lte": 15
      }
    }
  }
}

// 查询2003年到2004年出生的学生
{
  "query": {
    "range": {
      "birthday": {
        "gte": "2003",
        "lte": "31-12-2004",
        "format": "dd-MM-yyyy||yyyy"
      }
    }
  }
}

布尔查询

类型 请求方式 url 参数 描述
must POST localhost:9200/nba/_search 见下 必须出现在匹配文档中
filter POST localhost:9200/nba/_search 必须出现在文档中，但是不打分
must_not POST localhost:9200/nba/_search 不能出现在文档中
should POST localhost:9200/nba/_search 应该出现在文档中

  • must

    POST localhost:9200/nba/_search

    // 查询sex为"0"，name中含有"曦"的学生
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": "曦"
          }
        },
        {
          "term": {
            "sex": {
              "value": "0"
            }
          }
        }
      ]
    }
  }
}

    // 响应
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 2.9985561,
    "hits" : [
      {
        "_index" : "stu",
        "_type" : "_doc",
        "_id" : "10",
        "_score" : 2.9985561,// 分数
        "_source" : {
          "name" : "赵曦",
          "age" : 14,
          "sex" : "0",
          "class" : "7(2)班",
          "birthday" : "2005-09-02"
        }
      }
    ]
  }
}

  • filter

    效果同must，但是不打分

    POST localhost:9200/nba/_search

    {
  "query": {
    "bool": {
      "filter": [
        {
          "match": {
            "name": "曦"
          }
        },
        {
          "term": {
            "sex": {
              "value": "0"
            }
          }
        }
      ]
    }
  }
}

  • must_not

    POST localhost:9200/nba/_search

    // 查询name包含"张",sex不是"0"的学生
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": "张"
          }
        }
      ],
      "must_not": [
        {
          "term": {
            "sex": {
              "value": "0"
            }
          }
        }
      ]
    }
  }
}

  • should

    POST localhost:9200/nba/_search

    // 查询sex为"1"的学生
{
  "query": {
    "bool": {
      "should": [
        {
          "term": {
            "sex": {
              "value": "1"
            }
          }
        }
      ]
    }
  }
}

    与其他模式结合使用时即使匹配不到也返回，只是评分不同

    // 查询name中包含"李",age在13-14之间的学生
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": "李"
          }
        }
      ],
      "should": [
        {
          "range": {
            "age": {
              "gte": 13,
              "lte": 14
            }
          }
        }
      ]
    }
  }
}

排序查询

POST localhost:9200/nba/_search

// 查询7(5)班学生，age倒序排列
{
  "query": {
    "term": {
      "class": {
        "value": "7(5)班"
      }
    }
  },
  "sort": [
    {
      "age": {
        "order": "desc"
      }
    }
  ]
}

聚合查询

  • 聚合分析是数据库中重要的功能特性，完成对一个查询的数据集中数据的聚合计算，如：找出某字段（或计算表达式的结果）的最大值、最小值，计算和、平均值等。 ES作为搜索引擎兼数据库，同样提供了强大的聚合分析能力
  • 对一个数据集求最大、最小、和、平均值等指标的聚合，在ES中称为指标聚合
  • 而关系型数据库中除了有聚合函数外，还可以对查询出的数据进行分组group by，再在组上进行指标聚合。在ES中称为桶聚合

指标聚合

  • max min sum avg

    POST localhost:9200/nba/_search

    // max-7(3)班最大年龄
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "maxAge": {// 自定义名称
      "max": {
        "field": "age"
      }
    }
  },
  "size": 0
}

    // min-7(3)班最小年龄
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "minAge": {
      "min": {
        "field": "age"
      }
    }
  },
  "size": 0
}

    // sum
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "sumAge": {
      "sum": {
        "field": "age"
      }
    }
  }, 
  "size": 0
}

    // avg-7(3)班平均年龄
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "avgAge": {// 自定义名称
      "avg": {
        "field": "age"
      }
    }
  },
  "size": 0
}

  • value_count

    统计非空字段的文档数

    POST localhost:9200/nba/_search

    // 查询7(3)班年龄非空的学生总数
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "countAge": {
      "value_count": {
        "field": "age"
      }
    }
  }, 
  "size": 0
}

  • Cardinality

    值去重计数

    POST localhost:9200/nba/_search

    // 7(3)班age去重统计
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "cardinalityAge": {
      "cardinality": {
        "field": "age"
      }
    }
  }, 
  "size": 0
}

  • stats

    统计count max min avg sum 5个值

    POST localhost:9200/nba/_search

    {
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "statsAge": {
      "stats": {
        "field": "age"
      }
    }
  }, 
  "size": 0
}

  • Extended stats

    比stats多4个统计结果： 平方和、方差、标准差、平均值加/减两个标准差的区间

    POST localhost:9200/nba/_search

    {
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "extendedAge": {
      "extended_stats": {
        "field": "age"
      }
    }
  }, 
  "size": 0
}

  • Percentiles

    占比百分位对应的值统计，默认返回[ 1, 5, 25, 50, 75, 95, 99 ]分位上的值

    POST localhost:9200/nba/_search

    {
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "percentilesAge": {
      "percentiles": {
        "field": "age"
      }
    }
  }, 
  "size": 0
}

    // 指定分位值
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "percentilesAge": {
      "percentiles": {
        "field": "age",
        "percents": [
          20,
          50,
          75
        ]
      }
    }
  },
  "size": 0
}

桶聚合

  • Terms Aggregation 根据字段项分组聚合

    POST localhost:9200/nba/_search

    // 7(3)班按照age分组
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "aggsAge": {
      "terms": {
        "field": "age",
        "size": 5
      }
    }
  },
  "size": 0
}

  • order 分组聚合排序

    POST localhost:9200/nba/_search

    // 7(3)班按照age分组,分组信息通过年龄从大到小排序
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "aggsAge": {
      "terms": {
        "field": "age",
        "size": 5,
        "order": {
          "_key": "desc"
        }
      }
    }
  },
  "size": 0
}

    // 7(3)班按照age分组,分组信息通过文档数从大到小排序
{
  "query": {
    "term": {
      "class": {
        "value": "7(3)班"
      }
    }
  },
  "aggs": {
    "aggsAge": {
      "terms": {
        "field": "age",
        "size": 5,
        "order": {
          "_count": "desc"
        }
      }
    }
  },
  "size": 0
}

    // 根据class分组，根据分组后的平均age倒排
{
  "aggs": {
    "aggsClass": {
      "terms": {
        "field": "class",
        "size": 10,
        "order": {
          "aggsAge": "desc"
        }
      },
      "aggs": {
        "aggsAge": {
          "avg": {
            "field": "age"
          }
        }
      }
    }
  },
  "size": 0
}

  • 筛选分组聚合

    POST localhost:9200/nba/_search

    {
  "aggs": {
    "aggsClass": {
      "terms": {
        "field": "class",
        "include": ["7(3)班", "7(2)班", "7(5)班"],// 包含
        "exclude": ["7(5)班"],// 排除
        "size": 10,
        "order": {
          "aggsAge": "desc"
        }
      },
      "aggs": {
        "aggsAge": {
          "avg": {
            "field": "age"
          }
        }
      }
    }
  },
  "size": 0
}

    // 正则匹配
// include，exclude类型要一致
{
  "aggs": {
    "aggsClass": {
      "terms": {
        "field": "class",
        "include": "7.*",
        "exclude": "7(5)班",
        "size": 10,
        "order": {
          "aggsAge": "desc"
        }
      },
      "aggs": {
        "aggsAge": {
          "avg": {
            "field": "age"
          }
        }
      }
    }
  },
  "size": 0
}

  • Range Aggregation 范围分组聚合

    POST localhost:9200/nba/_search

    // -13,13-14,15-  范围分组
{
  "aggs": {
    "aggsrange": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "to": 13
          },
          {
            "from": 13,
            "to": 14
          },
          {
            "from": 15
          }
        ]
      }
    }
  },
  "size": 0
}

    // 范围分组-别名
{
  "aggs": {
    "aggsrange": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "to": 13,
            "key":"A"
          },
          {
            "from": 13,
            "to": 14,
            "key":"B"
          },
          {
            "from": 15,
            "key":"C"
          }
        ]
      }
    }
  },
  "size": 0
}

  • Date Range Aggregation 时间范围分组聚合

    POST localhost:9200/nba/_search

    // Date 时间范围分组聚合
{
  "aggs": {
    "aggsrange": {
      "date_range": {
        "field": "birthday",
        "format": "yyyy-MM",
        "ranges": [
          {
            "to": "2004-12",
            "key":"A"
          },
          {
            "from": "2005-01",
            "to": "2005-12",
            "key":"B"
          },
          {
            "from": "2006-01",
            "key":"C"
          }
        ]
      }
    }
  },
  "size": 0
}

  • Date Histogram Aggregation 时间柱状图聚合

    按天、月、年等进行聚合统计。可按 year (1y), quarter (1q), month (1M), week (1w), day(1d), hour (1h), minute (1m), second (1s) 间隔聚合

    POST localhost:9200/nba/_search

    {
  "aggs": {
    "aggsrange": {
      "date_histogram": {
        "field": "birthday",
        "format": "yyyy",
        "calendar_interval": "year"
      }
    }
  },
  "size": 0
}

query_string查询

  • 单个字段查询

    POST localhost:9200/nba/_search

    {
  "query": {
    "query_string": {
      "default_field": "name",
      "query": "李 AND 思 OR 敏"
    }
  }
}

  • 多个字段查询

    POST localhost:9200/nba/_search

    {
  "query": {
    "query_string": {
      "fields": ["name", "sex"],
      "query": "李 AND 0"
    }
  }
}

分词器

将⽤用户输入的一段文本，按照一定逻辑，分析成多个词语的一种工具

内置分词器

  • standard analyzer （标准分词器）

    标准分析器是默认分词器，如果未指定，则使用该分词器

  • simple analyzer

    simple 分析器当它遇到只要不是字母的字符，就将文本解析成term，而且所有的term都是
    小写的

  • whitespace analyzer

    whitespace 分析器，当它遇到空白字符时，就将文本解析成terms

  • stop analyzer

    stop 分析器 和 simple 分析器很像，唯一不同的是， stop 分析器增加了对删除停止词的支持，默认使⽤用了english停止词

    stopwords 预定义的停止词列表，比如 (the,a,an,this,of,at)等

  • language analyzer

    特定的语言的分词器，比如说， english，英语分词器),内置语言： arabic, armenian,basque, bengali, brazilian, bulgarian, catalan, cjk, czech, danish, dutch, english, finnish,french, galician, german, greek, hindi, hungarian, indonesian, irish, italian, latvian,lithuanian, norwegian, persian, portuguese, romanian, russian, sorani, spanish,swedish, turkish, thai

  • pattern analyzer

    用正则表达式来将文本分割成terms，默认的正则表达式是\W+（非单词字符）

eg:

GET /_analyze
{
  "analyzer": "simple", 
  "text": "Deploy a 14-day trial of Elasticsearch Service."
}

{
  "tokens" : [
    {
      "token" : "deploy",
      "start_offset" : 0,// 开始偏移量
      "end_offset" : 6,// 结束偏移量
      "type" : "word",
      "position" : 0 // 索引
    },
    {
      "token" : "a",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "day",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "trial",
      "start_offset" : 16,
      "end_offset" : 21,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "of",
      "start_offset" : 22,
      "end_offset" : 24,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "elasticsearch",
      "start_offset" : 25,
      "end_offset" : 38,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "service",
      "start_offset" : 39,
      "end_offset" : 46,
      "type" : "word",
      "position" : 6
    }
  ]
}

中文分词器

  • smartCN

    一个简单的中文或中英文混合文本的分词器

    • 安装 （重启服务后使用）

      sh elasticsearch-plugin install analysis-smartcn

    • eg:

      GET /_analyze
{
  "analyzer": "smartcn", 
  "text": "有限公司"
}

      {
  "tokens" : [
    {
      "token" : "有限公司",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 0
    }
  ]
}

  • IK分词器

    更智能更友好的中文分词器

    • 下载 https://github.com/medcl/elasticsearch-analysis-ik/releases (版本要对应)

    • 安装 解压到es安装目录-plugins目录

    • eg:

      GET /_analyze
{
  "analyzer": "ik_max_word", 
  "text": "有限公司"
}

      {
  "tokens" : [
    {
      "token" : "有限公司",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "有限",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "公司",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}

refresh

新的数据已添加到索引中⽴⻢就能搜索到，但是真实情况不是这样的

  • 先添加⼀个⽂档，再⽴刻搜索，获取不到新添加的数据

    curl -X PUT localhost:9200/stu/_doc/666 -H 'Content-Type:application/json' -d '{ "name": "王丝菲" }'
curl -X GET localhost:9200/stu/_doc/_search?pretty

  • 强制刷新

    curl -X PUT localhost:9200/stu/_doc/667?refresh -H 'Content-Type:application/json' -d '{ "name": "王豆豆" }'
curl -X GET localhost:9200/stu/_doc/_search?pretty

  • 修改默认更新时间(默认时间是1s)

    PUT localhost:9200/stu/_settings

    {
  "index": {
    "refresh_interval": "5s"
  }
}

  • 将refresh关闭

    PUT localhost:9200/stu/_settings

    {
  "index": {
    "refresh_interval": "-1"
  }
}

高亮查询

  • 高亮查询

    POST localhost:9200/stu/_search

    // 参数
{
  "query": {
    "match": {
      "name": "赵"
    }
  },
  "highlight": {
    "fields": {
      "name": {}
    }
  }
}

    // 相应
{
  "took" : 4,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 2.4191523,
    "hits" : [
      {
        "_index" : "stu",
        "_type" : "_doc",
        "_id" : "10",
        "_score" : 2.4191523,
        "_source" : {
          "name" : "赵曦",
          "age" : 14,
          "sex" : "0",
          "class" : "7(2)班",
          "birthday" : "2005-09-02"
        },
        "highlight" : {
          "name" : [
            "赵曦"
          ]
        }
      }
    ]
  }
}

  • 自定义高亮查询

    POST localhost:9200/stu/_search

    // 参数
{
  "query": {
    "match": {
      "name": "赵"
    }
  },
  "highlight": {
    "fields": {
      "name": {
        "pre_tags": ["
    "],
        "post_tags": ["
    "]
      }
    }
  }
}

    // 响应
{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 2.4191523,
    "hits" : [
      {
        "_index" : "stu",
        "_type" : "_doc",
        "_id" : "10",
        "_score" : 2.4191523,
        "_source" : {
          "name" : "赵曦",
          "age" : 14,
          "sex" : "0",
          "class" : "7(2)班",
          "birthday" : "2005-09-02"
        },
        "highlight" : {
          "name" : [
            "
    赵
    曦"
          ]
        }
      }
    ]
  }
}

查询建议

查询建议，是为了给⽤户提供更好的搜索体验。包括：词条检查，⾃动补全

字段类型

类型 描述
text 指定搜索文本
field 获取建议器的搜索字段
analyzer 指定分词器
size 每个词返回的最大建议词数
sort 如何对建议词进行排序，可用选项：score-先按评分排序，再按文档频率排序，term顺序；frequency：先按文档频率排序，再按评分排序，term顺序；
suggest_mode 建议模式，控制提供建议词的方式：missing-仅在搜索的词项在索引中不存在时才提供建议词，默认值；popular-仅建议文档频率比搜索词项高的词；always-总是提供匹配的建议词；

suggester

  • Term suggester

    term 词条建议器，对给输⼊的文本进⾏分词，为每个分词提供词项建议

    POST localhost:9200/stu/_search

    // 参数
{
  "suggest": {
    "MY_SUGGESTION": {
      "text": "7(6)班",
      "term": {
        "suggest_mode": "missing",
        "field": "class"
      }
    }
  }
}

    {
  "took" : 105,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "suggest" : {
    "MY_SUGGESTION" : [
      {
        "text" : "7(6)班",
        "offset" : 0,
        "length" : 5,
        "options" : [
          {
            "text" : "7(2)班",
            "score" : 0.8,
            "freq" : 4
          },
          {
            "text" : "7(3)班",
            "score" : 0.8,
            "freq" : 3
          },
          {
            "text" : "7(5)班",
            "score" : 0.8,
            "freq" : 3
          }
        ]
      }
    ]
  }
}

  • Phrase suggester

    phrase 短语建议，在term的基础上，会考量多个term之间的关系，⽐如是否同时出现在索

    引的原文里，相邻程度，以及词频等

    POST localhost:9200/stu/_search

    // 参数
{
  "suggest": {
    "MY_SUGGESTION": {
      "text": "7(2) 班",
      "phrase": {
        "field": "class"
      }
    }
  }
}

    // 响应
{
  "took" : 17,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "suggest" : {
    "MY_SUGGESTION" : [
      {
        "text" : "7(2) 班",
        "offset" : 0,
        "length" : 6,
        "options" : [
          {
            "text" : "7(2)班",
            "score" : 0.4678218
          },
          {
            "text" : "7(3)班",
            "score" : 0.37474233
          },
          {
            "text" : "7(5)班",
            "score" : 0.37474233
          }
        ]
      }
    ]
  }
}

  • Completion suggester

    完成建议，自动补充查询内容后面的内容

    POST localhost:9200/stu/_search

    // 要查询字段的类型必须是 completion
{
  "suggest": {
    "MY_SUGGESTION": { // 自定义名称
      "text": "I like",
      "completion": {
        "field": "selfDesc"
      }
    }
  }
}

你可能感兴趣的:(ElasticSearch 7.x)

  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • ElasticSearch查询超过10000条（1000页）时出现Result window is too large的问题 王月亮17
    问题当ES数据量较大，使用分页查询超过10000条（1000页）时，出现如下错误：Cannotexecutejestaction,responsecode:500,error:{"root_cause":[{"type":"query_phase_execution_exception","reason":"Resultwindowistoolarge,from+sizemustbelesstha
  • Elasticsearch7.7.0 配置用户名和密码 i0208 Elasticsearch
    配置用户和密码需要在配置文件中开启x-pack验证,修改config目录下面的elasticsearch.yml文件，在里面添加如下内容,并重启ES[root@localhostesuser]#vim/opt/es/elasticsearch-7.7.0/config/elasticsearch.ymlxpack.security.enabled:truexpack.license.self_ge
  • elasticsearch数据迁移之elasticdump 迷茫运维路 elasticsearch中间件elasticsearchlinux运维
    系列文章目录第一章es集群搭建第二章es集群基本操作命令第三章es基于search-guard插件实现加密认证第四章es常用插件文章目录系列文章目录前言一、elasticdump是什么？二、安装elasticdump工具1.离线安装2.在线安装三、elasticdump相关参数四、使用elasticdump进行数据备份五、使用elasticdump进行数据恢复前言在企业实际生产环境中,避免不了要对
  • 在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三） 不会编程的小孩子 elasticsearch大数据搜索引擎
    #在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三）前言文章目录前言-聚合和分析-执行聚合操作-1.使用JavaAPI执行聚合操作-2.使用CURL命令执行聚合操作-1.使用JavaAPI执行度量操作-2.使用CURL命令执行度量操作-使用缓存-调整分片大小和数量-使用搜索建议-结论-节点发现-负载均衡-故障转移-结论-访问控制-加密-身份验证-结论-RESTA
  • Elasticsearch Java API 的使用（22）—实现桶聚合 迷途码界 ElasticsearchJavaAPI桶聚合
    分组聚合使用terms实现分组集合publicclassEsTermsAggthrowsUnknownHostException{publicvoidTermsAgg(TransportClientclient){AggregationBuilderagg=AggregationBuilders.terms("terms").field("agg");SearchResponseresponse=
  • Elasticsearch之bool查询 cyt涛 javaelasticsearch大数据搜索引擎bool布尔查询全文检索
    bool查询是Elasticsearch中最常用的复合查询类型，允许将多个查询组合在一起。它通过逻辑操作符（如must、should、must_not和filter）来构建复杂的查询条件，从而满足多条件匹配、逻辑与（AND）、或（OR）、非（NOT）的查询需求。bool查询主要由四个部分组成：must：必须满足的条件（类似于SQL中的AND）。should：应该匹配的条件（类似于SQL中的OR）。
  • Elasticsearch 安装 哒哒-blog Elasticsearchelasticsearchjenkins大数据
    下载安装elasticsearch下载链接运行：bin\elasticsearch.bat设置密码：.\bin\elasticsearch-setup-passwordsinteractive这边设置密码遇到一个坑PSG:\elasticsearch-8.8.1>.\bin\elasticsearch-setup-passwordsinteractiveFailedtoauthenticateus
  • Docker启动Elasticsearch(挂载数据、配置文件、插件) 程序员迪迦 项目实战Javaelasticsearchdocker
    Docker启动Elasticsearch拉取镜像dockerpullelasticsearch:7.4.2修改配置文件mkdir-p/mydata/elasticsearch/configmkdir-p/mydata/elasticsearch/data/mkdir-p/mydata/elasticsearch/pluginsecho"http.host:0.0.0.0">>/mydata/el
  • docker部署elasticsearch 大大陈· elasticsearchdocker大数据
    docker部署es1.简单启动2.配置文件3.安装es步骤1.简单启动#"discovery.type=single-node"标识单机启动dockerrun-d--nameelasticsearch-p9200:9200-p9300:9300-e"discovery.type=single-node"elasticsearch:tag#如果没有上面的标识，是集群启动，不这样做会报错#但是这样启
  • Docker安装elasticsearch和kibana viego1999 elasticsearchdocker大数据
    1、首先拉取elasticsearch镜像dockerpullelasticsearch:7.9.12、创建docker挂载的目录我这里将docker环境下挂在的目录统一放在了/dockerdata目录下mkdir-p/dockerdata/elasticsearch/configmkdir-p/dockerdata/elasticsearch/datamkdir-p/dockerdata/ela
  • Docker部署单点es Javaismymorning ES学习笔记dockerelasticsearch
    前言该笔记是根据B站上黑马SpringCloud学习总结的一、ES是什么？Elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值二、Docker部署ES步骤1.创建网络因为还要部署Kibana，实现es和Kibana关联，创建一个网络Kibana是为
  • MySQL同步数据到Elasticsearch 运维小雅 elasticsearchmysql大数据
    背景随着平台的业务日益增多，基于数据库的全文搜索查询速度较慢，已经无法满足需求。所以，决定基于Elasticsearch做一个全文搜索平台，支持业务相关的搜索需求。那么第一个问题就是：如何从MySQL同步数据到Elasticsearch？解决方案一：基于Logstash同步数据该方案上次有详细说明过，这里就简单描述一下。Logstash同步数据流程图：优点：1、组件少，只需要Logstash就可以
  • docker安装与使用 小鱼做了就会 开发框架及各种插件dockerjavamavenubuntulinux
    docker安装与使用一、docker安装二、容器三、镜像五、Docker部署ES5.1部署ES5.2配置跨域5.3重启容器5.4Docker部署ES-IK分词器5.5Docker部署ElasticSearch-Head5.6Docker快速安装kibana一、docker安装sudowget-qO-https://get.docker.com/|bash二、容器容器是由镜像实例化而来，这和我们学
  • ES(Elasticsearch)常用的函数 遨游在知识的海洋里无法自拔 java
    Elasticsearch（简称ES）是一个开源的搜索引擎，广泛用于全文搜索、分析和数据可视化。以下是一些常用的Elasticsearch函数和操作：索引操作创建索引PUT/index_name删除索引DELETE/index_name查看索引GET/index_name文档操作插入文档POST/index_name/_doc/{"field":"value"}获取文档GET/index_name
  • java实现es分页查询_elasticsearch high level rest api分页查询数据 weixin_42565971 java实现es分页查询
    Transport方式查询数据，在今后的elasticsearch中将不在维护，官方推荐用用highlevelrestapi或者lowerlevelapi去操作elasticsearch中的数据。在elasticsearch的增删改查操作中，其实最复杂的也就是分页查询了，根据elasticsearch官方资料，做个简单的笔记.1.准备jar包,我用的elasticsearch7.3版本,各版本需要
  • python连接es_Elasticsearch --- 3. ik中文分词器, python操作es weixin_39962285 python连接es
    一.IK中文分词器1.下载安装2.测试#显示结果{"tokens":[{"token":"上海","start_offset":0,"end_offset":2,"type":"CN_WORD","position":0},{"token":"自来水","start_offset":2,"end_offset":5,"type":"CN_WORD","position":1},{"token":"
  • python 写入es_python-elasticsearch从创建索引到写入数据 夙砂酒 python写入es
    创建索引fromelasticsearchimportElasticsearches=Elasticsearch('192.168.1.1:9200')mappings={"mappings":{"type_doc_test":{#type_doc_test为doc_type"properties":{"id":{"type":"long","index":"false"},"serial":{"
  • 使用Python的Elasticsearch客户端 elasticsearch-py 来完成删除现有索引、重新创建索引并测试分词的示例代码 Roc-xb Pythonpythonelasticsearch
    以下是一个使用Python的Elasticsearch客户端elasticsearch-py来完成删除现有索引、重新创建索引并测试分词的示例代码一、安装依赖pipinstallelasticsearch二、运行效果三、程序代码fromelasticsearchimportElasticsearch,NotFoundError#连接到Elasticsearches=Elasticsearch(
  • springboot指定依赖jar版本 m0_67402235 javajava后端
    项目是maven父子项目结构如下：有多个子项目，因为springboot版本采用的是1.5.所以默认导入的elasticsearch版本是1.2.，而我们的集群是6.*的版本，试了很多次最后解决问题如下：在父pom的dependencyManagement中添加指定版本就可以了因为！！！父pom中指定版本优先级最高，所以可以解决子依赖pom中的版本问题。子模块只需要引入就可以了
  • ElasticSearch-多边形范围查询(8.x) W_Meng_H #ElasticSearch#SpringBootelasticsearch大数据搜索引擎
    目录一、字段设计二、数据录入三、查询语句四、Java代码实现开发版本详见：Elasticsearch-经纬度查询(8.x-半径查询)_es经纬度范围查询-CSDN博客一、字段设计PUT/aoi_points{"mappings":{"properties":{"location":{"type":"geo_shape"}}}}aoi_points是索引名称，location是字段名称，它将存储地理
  • Elasticsearch文档值 知知之之 Elasticsearchelasticsearch大数据搜索引擎
    在Elasticsearch中，文档值（DocValues）是用于高效存储和检索数据的一种数据结构，特别是在处理聚合、排序和过滤操作时。文档值是Elasticsearch为每个字段生成的预先计算的格式化数据，目的是改善性能和降低内存使用。什么是文档值（DocValues）文档值是将字段的数据存储在磁盘上的一种方式，使得字段的值以列式结构存储。这种存储方式使得对字段的高效检索和聚合成为可能，尤其是在
  • 弹性搜索引擎Elasticsearch：本地部署与远程访问指南 猴哥是肖鸿 人工智能技术指导专升本jenkins运维
    在大数据时代，数据搜索和分析成为企业核心竞争力的关键因素。弹性搜索引擎Elasticsearch作为一种分布式、可扩展的搜索和分析引擎，受到广泛欢迎。本文将介绍Elasticsearch的本地部署与远程访问，帮助读者更好地利用这一强大的工具。一、本地部署环境准备在开始部署Elasticsearch之前，需要准备以下环境：操作系统：Elasticsearch支持多种操作系统，如Linux、Windo
  • elasticsearch 图灵农场 tl微服务专题
    cluster：代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆
  • ELK架构介绍 星河漫漫l elkelasticsearch运维服务器
    一、ELK简介ELK是由三个开源软件组成的，分别是：Elasticsearch、Logstash和Kibana，这三个软件各自在日志管理和数据分析领域发挥着重要作用。Elasticsearch提供分布式存储和搜索能力；Logstash负责数据收集和处理，而Kibana则提供数据可视化和分析界面。他们共同构成了一个完整的日志管理解决方案，帮助企业高效利用日志数据进行监控、分析和安全审计。1.Elas
  • JAVA使用es不分词_谈谈 Elasticsearch 分词和自定义分词 weixin_39966376 JAVA使用es不分词
    初次接触Elasticsearch的同学经常会遇到分词相关的难题，比如如下这些场景：1、为什么命名有包含搜索关键词的文档，但结果里面就没有相关文档呢？2、我存进去的文档到底被分成哪些词(term)了？3、我得自定义分词规则，但感觉好麻烦呢，无从下手如果你遇到过类似的问题，希望本文可以解决你的疑惑。一、上手让我们从一个实例出发，如下创建一个文档：PUTtest/doc/1{"msg":"Eating
  • ElasticSearch 谈谈你对段合并的策略思想的认识 用心去追梦 elasticsearch大数据搜索引擎
    段合并是Elasticsearch中的一个重要概念，它在数据索引和查询过程中起着关键的作用。Elasticsearch使用Lucene作为其全文搜索库，Lucene中使用的数据结构就是段（Segment）合并。段合并的策略思想主要体现在以下几个方面：提高查询性能：在Elasticsearch中，段合并的过程可以看作是对索引进行优化，通过合并将多个小的段合并成一个大的段，这样可以减少内存的使用，提高
  • Grafana仪表盘设计最佳实践：如何创建有效的监控面板 范范0825 grafana信息可视化
    Grafana仪表盘设计最佳实践：如何创建有效的监控面板引言Grafana是一个开源的数据可视化和监控平台，它提供了丰富的仪表盘功能，用于展示和分析各种数据源（如Prometheus、InfluxDB、Elasticsearch等）。有效的仪表盘设计能够帮助团队迅速识别和解决问题，提高系统的可靠性和性能。本文将深入探讨如何设计高效的Grafana仪表盘，涵盖最佳实践和实际应用。1.了解需求和目标1
  • es安装ik分词器 abments ESelasticsearchjenkins大数据
    下载分词器首先确定es对应的版本（假设版本是7.10.0）根据版本下载指定的分词器开始安装在线安装./bin/elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.10.0/elasticsearch-analysis-ik-7.10.0.zip离线安装-
  • Elasticsearch——配置详解 smart哥 elasticsearch专题elasticsearch搜索引擎
    作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬学习必须往深处挖，挖的越深，基础越扎实！阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
  • java封装继承多态等 麦田的设计者 javaeclipsejvmcencapsulatopn
           最近一段时间看了很多的视频却忘记总结了，现在只能想到什么写什么了，希望能起到一个回忆巩固的作用。     1、final关键字       译为：最终的        &
  • F5与集群的区别 bijian1013 weblogic集群F5
            http请求配置不是通过集群，而是F5；集群是weblogic容器的，如果是ejb接口是通过集群。         F5同集群的差别，主要还是会话复制的问题，F5一把是分发http请求用的，因为http都是无状态的服务，无需关注会话问题，类似
  • LeetCode[Math] - #7 Reverse Integer Cwind java题解MathLeetCodeAlgorithm
    原题链接：#7 Reverse Integer   要求： 按位反转输入的数字 例1： 输入 x = 123, 返回 321 例2： 输入 x = -123, 返回 -321   难度：简单   分析： 对于一般情况，首先保存输入数字的符号，然后每次取输入的末位（x%10）作为输出的高位（result = result*10 + x%10）即可。但
  • BufferedOutputStream 周凡杨
         首先说一下这个大批量，是指有上千万的数据量。      例子：      有一张短信历史表，其数据有上千万条数据，要进行数据备份到文本文件，就是执行如下SQL然后将结果集写入到文件中！      select t.msisd
  • linux下模拟按键输入和鼠标 被触发 linux
    查看/dev/input/eventX是什么类型的事件， cat /proc/bus/input/devices 设备有着自己特殊的按键键码，我需要将一些标准的按键，比如0－9，X－Z等模拟成标准按键，比如KEY_0,KEY-Z等，所以需要用到按键 模拟，具体方法就是操作/dev/input/event1文件，向它写入个input_event结构体就可以模拟按键的输入了。 linux/in
  • ContentProvider初体验 肆无忌惮_ ContentProvider
    ContentProvider在安卓开发中非常重要。与Activity，Service，BroadcastReceiver并称安卓组件四大天王。 在android中的作用是用来对外共享数据。因为安卓程序的数据库文件存放在data/data/packagename里面，这里面的文件默认都是私有的，别的程序无法访问。 如果QQ游戏想访问手机QQ的帐号信息一键登录，那么就需要使用内容提供者COnte
  • 关于Spring MVC项目（maven）中通过fileupload上传文件 843977358 mybatisspring mvc修改头像上传文件upload
    Spring MVC 中通过fileupload上传文件，其中项目使用maven管理。   1.上传文件首先需要的是导入相关支持jar包：commons-fileupload.jar,commons-io.jar 因为我是用的maven管理项目，所以要在pom文件中配置（每个人的jar包位置根据实际情况定） <!-- 文件上传 start by zhangyd-c --&g
  • 使用svnkit api，纯java操作svn，实现svn提交，更新等操作 aigo svnkit
     原文：http://blog.csdn.net/hardwin/article/details/7963318   import java.io.File; import org.apache.log4j.Logger; import org.tmatesoft.svn.core.SVNCommitInfo; import org.tmateso
  • 对比浏览器，casperjs，httpclient的Header信息 alleni123 爬虫crawlerheader
    @Override protected void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException { String type=req.getParameter("type"); Enumeration es=re
  • java.io操作 DataInputStream和DataOutputStream基本数据流 百合不是茶 java流
    1，java中如果不保存整个对象，只保存类中的属性，那么我们可以使用本篇文章中的方法，如果要保存整个对象  先将类实例化  后面的文章将详细写到     2，DataInputStream 是java.io包中一个数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型。应用程序可以使用数据输出流写入稍后由数据输入流读取的数据。
  • 车辆保险理赔案例 bijian1013 车险
    理赔案例： 一货运车，运输公司为车辆购买了机动车商业险和交强险，也买了安全生产责任险，运输一车烟花爆竹，在行驶途中发生爆炸，出现车毁、货损、司机亡、炸死一路人、炸毁一间民宅等惨剧，针对这几种情况，该如何赔付。 赔付建议和方案： 客户所买交强险在这里不起作用，因为交强险的赔付前提是：“机动车发生道路交通意外事故”； 如果是交通意外事故引发的爆炸，则优先适用交强险条款进行赔付，不足的部分由商业
  • 学习Spring必学的Java基础知识(5)—注解 bijian1013 javaspring
            文章来源：http://www.iteye.com/topic/1123823，整理在我的博客有两个目的：一个是原文确实很不错，通俗易懂，督促自已将博主的这一系列关于Spring文章都学完；另一个原因是为免原文被博主删除，在此记录，方便以后查找阅读。           有必要对
  • 【Struts2一】Struts2 Hello World bit1129 Hello world
    Struts2 Hello World应用的基本步骤 创建Struts2的Hello World应用，包括如下几步： 1.配置web.xml 2.创建Action 3.创建struts.xml，配置Action 4.启动web server，通过浏览器访问   配置web.xml <?xml version="1.0" encoding="
  • 【Avro二】Avro RPC框架 bit1129 rpc
    1. Avro RPC简介 1.1. RPC RPC逻辑上分为二层，一是传输层，负责网络通信；二是协议层，将数据按照一定协议格式打包和解包 从序列化方式来看，Apache Thrift 和Google的Protocol Buffers和Avro应该是属于同一个级别的框架，都能跨语言，性能优秀，数据精简，但是Avro的动态模式（不用生成代码，而且性能很好）这个特点让人非常喜欢，比较适合R
  • lua　set get cookie ronin47 lua cookie
    lua: local access_token = ngx.var.cookie_SGAccessToken if access_token then ngx.header["Set-Cookie"] = "SGAccessToken="..access_token.."; path=/;Max-Age=3000" end
  • java-打印不大于N的质数 bylijinnan java
    public class PrimeNumber { /** * 寻找不大于N的质数 */ public static void main(String[] args) { int n=100; PrimeNumber pn=new PrimeNumber(); pn.printPrimeNumber(n); System.out.print
  • Spring源码学习-PropertyPlaceholderHelper bylijinnan javaspring
    今天在看Spring 3.0.0.RELEASE的源码，发现PropertyPlaceholderHelper的一个bug 当时觉得奇怪，上网一搜，果然是个bug，不过早就有人发现了，且已经修复： 详见： http://forum.spring.io/forum/spring-projects/container/88107-propertyplaceholderhelper-bug
  • [逻辑与拓扑]布尔逻辑与拓扑结构的结合会产生什么? comsci 拓扑
       如果我们已经在一个工作流的节点中嵌入了可以进行逻辑推理的代码,那么成百上千个这样的节点如果组成一个拓扑网络,而这个网络是可以自动遍历的,非线性的拓扑计算模型和节点内部的布尔逻辑处理的结合,会产生什么样的结果呢?    是否可以形成一种新的模糊语言识别和处理模型呢?  大家有兴趣可以试试,用软件搞这些有个好处,就是花钱比较少,就算不成
  • ITEYE 都换百度推广了 cuisuqiang GoogleAdSense百度推广广告外快
    以前ITEYE的广告都是谷歌的Google AdSense，现在都换成百度推广了。   为什么个人博客设置里面还是Google AdSense呢？   都知道Google AdSense不好申请，这在ITEYE上也不是讨论了一两天了，强烈建议ITEYE换掉Google AdSense。至少，用一个好申请的吧。   什么时候能从ITEYE上来点外快，哪怕少点
  • 新浪微博技术架构分析 dalan_123 新浪微博架构
    新浪微博在短短一年时间内从零发展到五千万用户，我们的基层架构也发展了几个版本。第一版就是是非常快的，我们可以非常快的实现我们的模块。我们看一下技术特点，微博这个产品从架构上来分析，它需要解决的是发表和订阅的问题。我们第一版采用的是推的消息模式，假如说我们一个明星用户他有10万个粉丝，那就是说用户发表一条微博的时候，我们把这个微博消息攒成10万份，这样就是很简单了，第一版的架构实际上就是这两行字。第
  • 玩转ARP攻击 dcj3sjt126com r
    我写这片文章只是想让你明白深刻理解某一协议的好处。高手免看。如果有人利用这片文章所做的一切事情，盖不负责。 网上关于ARP的资料已经很多了，就不用我都说了。 用某一位高手的话来说，“我们能做的事情很多，唯一受限制的是我们的创造力和想象力”。 ARP也是如此。 以下讨论的机子有 一个要攻击的机子：10.5.4.178 硬件地址：52:54:4C:98
  • PHP编码规范 dcj3sjt126com 编码规范
    一、文件格式 1. 对于只含有 php 代码的文件，我们将在文件结尾处忽略掉 "?>" 。这是为了防止多余的空格或者其它字符影响到代码。例如：<?php$foo = 'foo';2. 缩进应该能够反映出代码的逻辑结果，尽量使用四个空格，禁止使用制表符TAB，因为这样能够保证有跨客户端编程器软件的灵活性。例
  • linux 脱机管理（nohup） eksliang linux nohupnohup
    脱机管理 nohup 转载请出自出处：http://eksliang.iteye.com/blog/2166699 nohup可以让你在脱机或者注销系统后，还能够让工作继续进行。他的语法如下 nohup [命令与参数] --在终端机前台工作 nohup [命令与参数] & --在终端机后台工作   但是这个命令需要注意的是，nohup并不支持bash的内置命令，所
  • BusinessObjects Enterprise Java SDK greemranqq javaBOSAPCrystal Reports
    最近项目用到oracle_ADF  从SAP/BO 上调用 水晶报表，资料比较少，我做一个简单的分享，给和我一样的新手 提供更多的便利。   首先，我是尝试用JAVA JSP 去访问的。   官方API：http://devlibrary.businessobjects.com/BusinessObjectsxi/en/en/BOE_SDK/boesdk_ja
  • 系统负载剧变下的管控策略 iamzhongyong 高并发
    假如目前的系统有100台机器，能够支撑每天1亿的点击量（这个就简单比喻一下），然后系统流量剧变了要，我如何应对，系统有那些策略可以处理，这里总结了一下之前的一些做法。 1、水平扩展 这个最容易理解，加机器，这样的话对于系统刚刚开始的伸缩性设计要求比较高，能够非常灵活的添加机器，来应对流量的变化。 2、系统分组 假如系统服务的业务不同，有优先级高的，有优先级低的，那就让不同的业务调用提前分组
  • BitTorrent DHT 协议中文翻译 justjavac bit
    前言 做了一个磁力链接和BT种子的搜索引擎 {Magnet & Torrent}，因此把 DHT 协议重新看了一遍。 BEP: 5Title: DHT ProtocolVersion: 3dec52cb3ae103ce22358e3894b31cad47a6f22bLast-Modified: Tue Apr 2 16:51:45 2013 -070
  • Ubuntu下Java环境的搭建 macroli java工作ubuntu
    配置命令： 　　$sudo apt-get install ubuntu-restricted-extras 　　再运行如下命令： 　　$sudo apt-get install sun-java6-jdk 　　待安装完毕后选择默认Java. 　　$sudo update- alternatives --config java 　　安装过程提示选择，输入“2”即可，然后按回车键确定。
  • js字符串转日期（兼容IE所有版本） qiaolevip TODateStringIE
    /** * 字符串转时间（yyyy-MM-dd HH:mm:ss） * result （分钟） */ stringToDate : function(fDate){ var fullDate = fDate.split(" ")[0].split("-"); var fullTime = fDate.split("
  • 【数据挖掘学习】关联规则算法Apriori的学习与SQL简单实现购物篮分析 superlxw1234 sql数据挖掘关联规则
    关联规则挖掘用于寻找给定数据集中项之间的有趣的关联或相关关系。 关联规则揭示了数据项间的未知的依赖关系，根据所挖掘的关联关系，可以从一个数据对象的信息来推断另一个数据对象的信息。 例如购物篮分析。牛奶 ⇒ 面包 [支持度：3%，置信度：40%] 支持度3%：意味3%顾客同时购买牛奶和面包。 置信度40%：意味购买牛奶的顾客40%也购买面包。 规则的支持度和置信度是两个规则兴
  • Spring 5.0 的系统需求，期待你的反馈 wiselyman spring
                   Spring 5.0将在2016年发布。Spring5.0将支持JDK 9。          Spring 5.0的特性计划还在工作中，请保持关注，所以作者希望从使用者得到关于Spring 5.0系统需求方面的反馈。  
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他