ElasticSearch——高性能分布式搜索引擎
Elasticsearch 简介
Elasticsearch（简称 es）是一款高性能的实时分布式搜索和分析引擎，它可以从海量数据中快速的找到相关信息。作为一款功能强大的分布式搜索引擎，支持近实时的存储、搜索数据。被许多公司广泛的应用
- github 使用 ElasticSearch 检索 1300 亿行代码
- 维基百科使用 Elasticsearch 提供全文搜索并高亮关键字，以及输入实时搜索和搜索纠错等搜索建议功能
- StackOverflow 结合全文搜索与地理位置查询，以及 more-like-this 功能来找到相关的问题和答案
概念
Elasticsearch 有几个核心概念，这里先讲解几个概念，对下面的学习过程比较有帮助
-
接近实时
Elasticsearch 是一个近实时的搜索引擎，从插入一条数据到数据能被检索到大概有一个 1s 的轻微延迟。所以 Elasticsearch 不适合用于对实时性要求很高的业务 -
分布式
对于大多数数据库而言，如果想很想扩展，需要对你的程序做相应的改动，大部分时候改动还不小。而Elasticsearch 天生就是分布式的，这意味着它能自动管理节点来提供高扩展和高可用，你不必关心这些，只需要部署多一台服务器即可 -
索引（index）
一个索引就是一个拥有相似特征的文档的集合，比如在一个订单系统中，可以有客户数据的索引、产品数据的索引、订单数据的索引，当需要检索特定数据的时候，只需要操作对应的索引即可 -
文档
Elasticsearch 跟 mysql 这种关系型数据库不同， Elasticsearch 不会将信息存储为列数据的行，而是将数据序列化成 JSON 文档的结构进行存储。比如在客户索引中，一条客户数据就可以称之为一个文档 -
字段类型
Elasticsearch 支持以下简单字段类型
| 类型 | 表示的数据类型 |
|---|---|
| String | string |
| Whole number | byte,short,integer,long |
| Floating point | float,double |
| Boolean | boolean |
| Date | date |
- 映射
Elasticsearch 在存储数据的时候，不需要事先声明数据的字段及类型，Elasticsearch 会使用默认的动态映射猜测字段的类型进行存储
安装
Elasticsearch 安装很简单，我们只需要到 Elasticsearch 官网 下载最新版的 ElasticSearch 压缩包（目前最新版是 7.6.0），然后解压运行 bin/elasticsearch.sh 脚本就行啦（Windows 运行bin\elasticsearch.bat）
ElasticSearch 默认启动端口是 9200，测试 ElasticSearch 是否启动成功，访问 http://localhost:9200，如果浏览器返回以下信息证明启动成功
{
"name" : "es01",
"cluster_name" : "es-cluster-name",
"cluster_uuid" : "rfEcJdBuQYi951oNAA76cw",
"version" : {
"number" : "7.6.0",
"build_flavor" : "default",
"build_type" : "docker",
"build_hash" : "7f634e9f44834fbc12724506cc1da681b0c3b1e3",
"build_date" : "2020-02-06T00:09:00.449973Z",
"build_snapshot" : false,
"lucene_version" : "8.4.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
基础操作
任何程序都能使用 RESTful API，通过 9200 端口与 Elasticsearch 进行通信。向 Elasticsearch 发出的请求的组成部分与其他普通的 HTTP 请求是一样的，举例说明，想要计算集群中的文档数量，我们可以这样做：
curl -XGET 'http://localhost:9200/_count?pretty' -H 'Content-Type: application/json' -d '
{
"query": {
"match_all": {}
}
}
'
Elasticsearch 返回一个类似 200 OK 的 HTTP 状态码和 JSON 格式的响应主题（除了 HEAD 请求）。上面的请求会得到如下的 JSON 格式的相应主体：
{
"count" : 0,
"_shards" : {
"total" : 0,
"successful" : 0,
"skipped" : 0,
"failed" : 0
}
}
为简单起见，下面统一将请求简写成这样
GET /_count
{
"query": {
"match_all": {}
}
}
下面演示如何通过 Elasticsearch 进行数据的存储与检索，假设我们要存储一些员工数据，先创建员工索引
POST /employee
{
"mappings": {
"properties": {
"first_name": {
"type": "keyword"
},
"last_name": {
"type": "keyword"
},
"age": {
"type": "integer"
},
"about": {
"type": "text"
},
"interests": {
"type": "keyword"
}
}
}
}
- 插入一条员工数据
POST /employee/_doc/1
{
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about" : "I love to go rock climbing",
"interests": [ "sports", "music" ]
}
可以看到 path：/employee/_doc/1 包含三部分信息
| 名字 | 说明 |
|---|---|
| employee | 索引名称 |
| _doc | 文档类型，es 7 之后取消自定义文档类型，这里可以简单理解为一个关键字 |
| 1 | 这个员工的ID |
很简单吧，接下来准备多2条员工数据
POST /employee/_doc/2
{
"first_name": "Jane",
"last_name": "Smith",
"age": 32,
"about": "I like to colelct rock albums",
"interests": [ "music" ]
}
POST /employee/_doc/3
{
"first_name": "Douglas",
"last_name": "Fir",
"age": 35,
"about": "I like to buid cabinets",
"interests": [ "forestry" ]
}
- 根据 id 查询员工信息
这对于Elasticsearch来说非常简单。我们只要执行HTTP GET请求并指出文档的“地址”——索 引、类型和ID既可。根据这三部分信息，我们就可以返回原始JSON文档，比如获取第一个员工的信息
GET /employee/_doc/1
响应的内容中包含一些文档的元信息，John Smith的原始JSON文档包含在 _source 字段中
{
"_index": "employee",
"_type": "_doc",
"_id": "1",
"_version": 1,
"_seq_no": 0,
"_primary_term": 1,
"found": true,
"_source":{
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about": "I like to buid cabinets",
"interests":[
"sports",
"music"
]
}
}
更复杂的搜索
上面是直接根据 id 搜索，下面让搜索稍微再变的复杂一些。我们依旧想要找到姓氏为“Smith”的员工，但是我们只想得到年龄大于30岁的员工。复杂搜索中的请求关键字是_search，我们的语句将添加过滤器(filter),它使得我们高效率的执行一个结构化搜索：
GET /megacorp/employee/_search
{
"query": {
"bool": {
"must": [
{
"range": {
"age": {
"gt": 30 <1>
}
}
},
{
"match": {
"last_name": "Smith" <2>
}
}
]
}
}
}
<1> 这部分查询属于“区间过滤器”（range filter），它用于查询所有年龄大于 30 岁的数据
<2> 这部分查询用于查询 last_name 为 smith 的数据
整条查询语句的意思就是查询出“在employee索引哩查处年龄大于30岁，姓氏为smith的员工“
Elasticsearch 返回结果为
{
"took" : 41,
"timed_out" : false,
"_shards" : {
"total" : 2,
"successful" : 2,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 1,
"relation" : "eq"
},
"max_score" : 1.4700036,
"hits" : [
{
"_index" : "employee",
"_type" : "_doc",
"_id" : "2",
"_score" : 1.4700036,
"_source" : {
"first_name" : "Jane",
"last_name" : "Smith",
"age" : 32,
"about" : "I like to colelct rock albums",
"interests" : [
"music"
]
}
}
]
}
}
如果说上面的功能都很简单的话，那么接下来的搜索就是传统数据库很难实现的功能。如搜索喜欢“rock climbing"的员工：
GET /employee/_search
{
"query": {
"match": {
"about": "rock climbing"
}
}
}
该查询会得到两个匹配文档：
{
"took" : 690,
"timed_out" : false,
"_shards" : {
"total" : 2,
"successful" : 2,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 2,
"relation" : "eq"
},
"max_score" : 1.4167401,
"hits" : [
{
"_index" : "employee",
"_type" : "_doc",
"_id" : "1",
"_score" : 1.4167401,
"_source" : {
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests" : [
"sports",
"music"
]
}
},
{
"_index" : "employee",
"_type" : "_doc",
"_id" : "2",
"_score" : 0.4589591,
"_source" : {
"first_name" : "Jane",
"last_name" : "Smith",
"age" : 32,
"about" : "I like to colelct rock albums",
"interests" : [
"music"
]
}
}
]
}
}
可以看到返回的两条文档都有一个 _score 字段，该字段为结果相关性评分，所谓结果相关性评分就是文档与查询条件的匹配程度，得分越高表示匹配相关性越高
我们搜索的是 about 字段有 ”rock climbing“ 关键字的文档，但是 Jane Smith 为什么也会出现在结果中呢？这是因为 Jane Smith 的 about 字段中也有 “rock” 关键字，所以它他也会被检索到，但是结果相关性评分比较低
这个例子很好的解释了 Elasticsearch 是如何在各种文本字段中进行全文搜索，并返回相关性结果结合的。相关性(relevance)的概念在Elasticsearch中非常重要，而这个概念在传统关 系型数据库中是不可想象的，因为传统数据库对记录的查询只有匹配或者不匹配
公众号
觉得不错可以关注我的公众号
