Elasticsearch学习方法以及复杂数据类型的映射

概述

Elasticsearch是一个基于Lucene的搜索服务器。以下简称ES，版本为2.3左右的。

ES的版本比较多，目前已经到了5.3版本，但是很多公司都没有使用最新版本，我所在的公司也是如此。在没有接触ES之前，我不知道这个全文索引的框架，加上我英文不好，学习的时候真的给我带了不少的问题，踩了很多的坑。下面，我将从一个0基础的角度来介绍我学习ES的过程。感谢我的指导老师骞哥、祥哥。

一、如何学习ES

ES的中文文档并不多，在加上ES的版本很多，给翻译带来了很大的工作量。但是，我在学习过程中找到了一些文档和资料，可以快速的让你了解ES是什么，该怎么使用。

1.ES官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-search.html

学习ES的官方文档中的Getting Started，可以让你对ES的概念有个大概的了解，包括ES的一些基本概念，ES的安装，索引，查询等方面的知识。但是对于英文不好的人来说，要理解这些概可能就需要看上个一两天，都还不一定能懂。那么请看条例2。

2.Getting Started的中文博客地址

http://blog.csdn.net/cnweike/article/details/33736429

这篇博客将Getting Started详细的翻译了一遍，结合上英文，再去理解，就比较容易了。

3.ES的中文翻译社区地址（ES权威指南）

https://es.xiaoleilu.com/index.html

这ES权威指南书籍的电子文档，这个网站已经翻译了很多章节的内容，如果你对博客中给出的翻译不满意，可以结合本网站学习。这个网站有个毛病，不知道是电脑字库渲染问题还是文档本身的问题，翻译中会有很多的字是错的。另一个毛病便是切换文档时需要等待很久，因此，需要你有足够的耐心。ES权威指南有一个最大的优点，它选择人们经常用的东西翻译，这给开发带来了极大的便利。

4.ES英文官网文档学习路线

如果你急需在较短的时间内使用ES，那么你可以按着下面的路线进行快速入门，并且学习一些高级的东西。下面的学习路线是拥有多年开发经验同事给我规划的，希望对你有用。我公司使用的ES版本是2.3，并且封装了自己的框架。因此，你在查看文档时，也需要查看相应的版本，版本不同，文档的结构会有所变化。

① Getting Started 里的所有内容；

② Setup Elasticsearch 里的所有内容；

③ Document APIs 里的所有内容；

④ Search APIs 下的 Search、URI Search、Request Body Search；

⑤ Query DSL 下的 Query and filter context、Match All Query、Full text queries下的Match Query， Compound queries下的 Bool Query， Joining queries下的 Nested Query。

⑥ Term level queries下的 Term Query、Terms Query、Rangge Query。这在查询时会用到。

⑦ Mapping下Field datatypes下的Array datatype、Binary datatype、Range datatype、Boolean datatype、Date datatype、Object datatype、String datatype、Text datatype；这里根据自己想买需求可多看一些其他的，这里讲解的是ES所支持的数据类型。

上面给出的，便是我接触ES的学习路线，说实话，第一次接触ES，我不仅看完了上面的全部，还看了很多。才把ES弄明白了一点点。

二、搭建ES时遇到的问题

ES的搭建在我看来，懂点Linux的人基本上不成问题，但是像我这种菜菜，就遇到了好多坑。不过我所遇到错误的原因都是权限问题。ES官网明确的说了一点，不要使用root用户启动，这是致命的。

第二个问题是，ES的压缩包解压之后，就可以直接使用了，如果你对文件夹做权限的更改，那么，启动的时候就会报找不到Java环境等各种错误，起初我以为是我没有搭建Java环境，到头来发现，并不是，遇到这个问题时，使用如下方式解决问题：

[yh@centos bin]$ sudo chown -R elasticsearc安装文件夹  yh.yh

例如： sudo chown -R elasticsearch yaohong.yaohong(这个是用户)

执行以上命令之后，那么Elasticsearch就可以正常启动了，如果遇到别的问题，那么不好意思，百度吧！

启动ES的方法

解压文件之后，进入bin目录,然后执行以下命令，ES便启动了。

[yh@centos bin]$ ./elasticsearch

如果想在后台启动，使用-d参数，命令如下：

[yh@centos bin]$ ./elasticsearch -d

如果不是后台启动，你将看到如下信息，如果没有如下信息，说明ES启动失败了！

[2017-04-24 10:36:53,706][INFO ][node                     ] [Mist Mistress] version[2.4.4], pid[12159], build[fcbb46d/2017-01-03T11:33:16Z]
[2017-04-24 10:36:53,707][INFO ][node                     ] [Mist Mistress] initializing ...
[2017-04-24 10:36:55,021][INFO ][plugins                  ] [Mist Mistress] modules [lang-groovy, reindex, lang-expression], plugins [], sites []
[2017-04-24 10:36:55,069][INFO ][env                      ] [Mist Mistress] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [11.9gb], net total_space [19.5gb], spins? [unknown], types [rootfs]
[2017-04-24 10:36:55,069][INFO ][env                      ] [Mist Mistress] heap size [1015.6mb], compressed ordinary object pointers [true]
[2017-04-24 10:36:59,763][INFO ][node                     ] [Mist Mistress] initialized
[2017-04-24 10:36:59,770][INFO ][node                     ] [Mist Mistress] starting ...
[2017-04-24 10:37:00,014][INFO ][transport                ] [Mist Mistress] publish_address {127.0.0.1:9301}, bound_addresses {127.0.0.1:9301}
[2017-04-24 10:37:00,031][INFO ][discovery                ] [Mist Mistress] elasticsearch/a-VF8e_uQZ2y0k-wB_eeug
[2017-04-24 10:37:03,389][INFO ][cluster.service          ] [Mist Mistress] detected_master {Anelle}{K2u_6PgETsG5BifXQxfO2w}{127.0.0.1}{127.0.0.1:9300}, added {{Anelle}{K2u_6PgETsG5BifXQxfO2w}{127.0.0.1}{127.0.0.1:9300},}, reason: zen-disco-receive(from master [{Anelle}{K2u_6PgETsG5BifXQxfO2w}{127.0.0.1}{127.0.0.1:9300}])
[2017-04-24 10:37:03,855][INFO ][http                     ] [Mist Mistress] publish_address {127.0.0.1:9201}, bound_addresses {127.0.0.1:9201}
[2017-04-24 10:37:03,860][INFO ][node                     ] [Mist Mistress] started

如果你是后台启动，将看不到任何输出，除非出错了，可以使用如下命令，查看都端口情况：

[yh@centos bin]$ netstat -apn | grep 9200

三、一些ES的概念

1.ES中的Bool查询有三种状态，分别是must，should，must_not。说实话，我都怀疑我的语文是体育老师教的，当时我看到这个时，想了很久都没有搞懂。在加上看的是英文，我更懵逼了。如果你有SQL语言的基础，那么就很好理解了。

① must 相当于 SQL 的 and条件，比如你用SQL查询价格，你会写出如下sql语句：

select * from table_name where id = 1000 and price = 50;

这样的语句就相当于ES的must查询。

② shoud相当于SQL 的 or条件，例如：

select * from table_name where id = 1000 or price = 50;

③ must_not 相当于SQL的not in，例如：

select * from table_name where id not in(1000);

must_not即不包含某某。

对于大于等于，区间值等，API的文档中有详细的说明。

如果你想知道更多的概念，那么请点击我上面说明的连接地址，他们讲解的更清楚，我不在造轮子。

四、应用思路

1.学习ES的相关基础知识和概念；
2.了解项目需求；
3.考虑ES的所需功能是否能够解决当前的项目需求；
4.考虑之后，部署ES，如果能力可能，可自行封装一层，原生的ES操作比较复杂，数据拼接容易出错且不好维护；
5.编写Mapping，建立索引；
6.导入数据；
7.数据导入之后便可查询、重索引等各种测试，如果没有数据，一切都是瞎忙活；
8.应用到实际项目中。

由于小编也是刚接触ES不久，因此上面说的步骤不一定适合你，上面步骤是我经验丰厚的同事教的方法，我根据他教的方法终结出来的。这里我只是提供我自己学习的路线，你可以自己根据自己的能力调整。

五、Mapping映射(高级)

虽然ES可以根据数据的格式自动创建Mapping，他将所有的对象都映射成Object，但很多时候是不满足项目需求的，基础的Mapping映射我就不解释，官方文档比我说得清楚，不需要你看英文说明，仅看代码就秒懂，并且网上一搜一大堆。我在做项目时遇到的映射，在网上并没有找到。首先，请看下面这个json数据，我们需求是，能够查询字段”schedule_info”中时间区间或者日期区间，看到这个json你也许知道，sql是做不到的（”schedule_info字段是以json字符串保存到数据库中的”），而ES是可以的,但是ES要实现这个功能，需要用到Nested查询，那么在写Mapping时，就必须将其转化为对象。

{
    "id": 1000017,
    "status": 0,
    "name": "HHH",
    "daily_budget": 410000,
    "schedule_info": {
        "date": [
            {
                "start": "2017-04-20",
                "end": "2017-04-20"
            },
             {
                "start": "2017-04-20",
                "end": "2017-04-20"
            }
        ],
        "time": [
            {
                "start": "00:00",
                "end": "23:59"
            },
             {
                "start": "00:00",
                "end": "23:59"
            }
        ]
    },
    "serving_speed": 0,
    "create_time": 1492694481227,
    "start_schedule": 1492694481227,
    "end_schedule": 1499994481227,
    "create_user": "admin",
    "update_user": "unknown"

}

“schedule_info”字段包含了一个date和time两个属性，而这两个属性是都是数据，那么在写mapping时，该怎么写，我在做项目时，琢磨了一天，才弄明白ES的对象嵌套映射。下面是我的mapping。

{
  "order": 0,
  "template": "Yaohong-plan-*",
  "settings": {
    "index": {
      "number_of_replicas": "1",
      "number_of_shards": "5",
      "refresh_interval": "1s"
    }
  },
  "mappings": {
    "_default_": {
      "properties": {
        "update_user": {
          "index": "not_analyzed",
          "type": "string" },
        "status": {
          "type": "integer" },
        "end_schedule": {
          "format": "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type": "date" },
        "serving_speed": {
          "type": "integer" },
        "id": {
          "type": "long" },
        "update_time": {
          "format": "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type": "date" },
        "start_schedule": {
          "format": "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type": "date" },
        "daily_budget": {
          "type": "integer" },
        "create_time": {
          "format": "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type": "date" },
        "create_user": {
          "index": "not_analyzed",
          "type": "string" },
        "schedule_info": {
          "type":"nested",
          "properties":{ "date":{ "properties":{ "start":{ "type":"date", "format":"yyyy-MM-dd||epoch_millis" }, "end":{ "type":"date", "format":"yyyy-MM-dd||epoch_millis" } } }, "time":{ "properties":{ "start":{ "type":"integer" }, "end":{ "type":"integer" } } } } }
      },
      "_all": {
        "enabled": false
      }
    }
  },
  "aliases": {
    "Yaohong-plan-active": {}
  }
}

那么如果我需要查询日期在某个区间怎么去查询呢？请看下面的查询语句：

{
  "bool" : {
    "must" : [ {
      "term" : {
        "status" : "0"
      }
    }, {
      "nested" : {
        "query" : {
          "bool" : { "filter" : [ { "range" : { "schedule_info.date.start" : { "from" : "2017-03-05", "to" : null, "format" : "yyyy-MM-dd", "include_lower" : true, "include_upper" : true } } }, { "range" : { "schedule_info.date.end" : { "from" : null, "to" : "2017-09-12", "format" : "yyyy-MM-dd", "include_lower" : true, "include_upper" : true } } } ] } },
        "path" : "schedule_info"
      }
    } ],
    "should" : {
      "match" : {
        "name" : {
          "query" : "YangHong",
          "type" : "boolean" }
      }
    }
  }
}

从查询语句可以看出，ES对对象进行了扁平化的处理方式，如schedule_info.date.endDate，基于别的对象或者是数组的映射，官方文档都有很详细的说明，我给出的例子，在官方文档是没有的，因此分享给大家，当你看完这个例子，相信别的复杂映射都可以解决了。

另外需要说明的是，ES查询日期类型时，其查询格式必须与Mapping映射时的格式一模一样，否则会出错，对于单纯的时间查询，需要转化成可比较的数据类型，像“06.30”这样的时间数据，ES会以字符串的形式比较，从而得不到正确的结果。在此例子中，我将时间转化成为了整型，方便查找时间区间。

由于小编能力有限，如有错误，请指正，谢谢合作！