Elasticsearch学习方法以及复杂数据类型的映射

概述

Elasticsearch是一个基于Lucene的搜索服务器。以下简称ES,版本为2.3左右的。

ES的版本比较多,目前已经到了5.3版本,但是很多公司都没有使用最新版本,我所在的公司也是如此。在没有接触ES之前,我不知道这个全文索引的框架,加上我英文不好,学习的时候真的给我带了不少的问题,踩了很多的坑。下面,我将从一个0基础的角度来介绍我学习ES的过程。感谢我的指导老师骞哥、祥哥。

一、如何学习ES

ES的中文文档并不多,在加上ES的版本很多,给翻译带来了很大的工作量。但是,我在学习过程中找到了一些文档和资料,可以快速的让你了解ES是什么,该怎么使用。

1.ES官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-search.html

学习ES的官方文档中的Getting Started,可以让你对ES的概念有个大概的了解,包括ES的一些基本概念,ES的安装,索引,查询等方面的知识。但是对于英文不好的人来说,要理解这些概可能就需要看上个一两天,都还不一定能懂。那么请看条例2。

2.Getting Started的中文博客地址

http://blog.csdn.net/cnweike/article/details/33736429

这篇博客将Getting Started详细的翻译了一遍,结合上英文,再去理解,就比较容易了。

3.ES的中文翻译社区地址(ES权威指南)

https://es.xiaoleilu.com/index.html

这ES权威指南书籍的电子文档,这个网站已经翻译了很多章节的内容,如果你对博客中给出的翻译不满意,可以结合本网站学习。这个网站有个毛病,不知道是电脑字库渲染问题还是文档本身的问题,翻译中会有很多的字是错的。另一个毛病便是切换文档时需要等待很久,因此,需要你有足够的耐心。ES权威指南有一个最大的优点,它选择人们经常用的东西翻译,这给开发带来了极大的便利。

4.ES英文官网文档学习路线

如果你急需在较短的时间内使用ES,那么你可以按着下面的路线进行快速入门,并且学习一些高级的东西。下面的学习路线是拥有多年开发经验同事给我规划的,希望对你有用。我公司使用的ES版本是2.3,并且封装了自己的框架。因此,你在查看文档时,也需要查看相应的版本,版本不同,文档的结构会有所变化。

① Getting Started 里的所有内容;

② Setup Elasticsearch 里的所有内容;

③ Document APIs 里的所有内容;

④ Search APIs 下的 Search、URI Search、Request Body Search;

⑤ Query DSL 下的 Query and filter context、Match All Query、Full text queries下的Match Query, Compound queries下的 Bool Query, Joining queries下的 Nested Query。

⑥ Term level queries下的 Term Query、Terms Query、Rangge Query。这在查询时会用到。

⑦ Mapping下Field datatypes下的Array datatype、Binary datatype、Range datatype、Boolean datatype、Date datatype、Object datatype、String datatype、Text datatype;这里根据自己想买需求可多看一些其他的,这里讲解的是ES所支持的数据类型。

上面给出的,便是我接触ES的学习路线,说实话,第一次接触ES,我不仅看完了上面的全部,还看了很多。才把ES弄明白了一点点。

二、搭建ES时遇到的问题

ES的搭建在我看来,懂点Linux的人基本上不成问题,但是像我这种菜菜,就遇到了好多坑。不过我所遇到错误的原因都是权限问题。ES官网明确的说了一点,不要使用root用户启动,这是致命的

第二个问题是,ES的压缩包解压之后,就可以直接使用了,如果你对文件夹做权限的更改,那么,启动的时候就会报找不到Java环境等各种错误,起初我以为是我没有搭建Java环境,到头来发现,并不是,遇到这个问题时,使用如下方式解决问题:

[yh@centos bin]$ sudo chown -R elasticsearc安装文件夹  yh.yh

例如: sudo chown -R elasticsearch yaohong.yaohong(这个是用户)

执行以上命令之后,那么Elasticsearch就可以正常启动了,如果遇到别的问题,那么不好意思,百度吧!

启动ES的方法

解压文件之后,进入bin目录,然后执行以下命令,ES便启动了。

[yh@centos bin]$ ./elasticsearch

如果想在后台启动,使用-d参数,命令如下:

[yh@centos bin]$ ./elasticsearch -d

如果不是后台启动,你将看到如下信息,如果没有如下信息,说明ES启动失败了!

[2017-04-24 10:36:53,706][INFO ][node                     ] [Mist Mistress] version[2.4.4], pid[12159], build[fcbb46d/2017-01-03T11:33:16Z]
[2017-04-24 10:36:53,707][INFO ][node                     ] [Mist Mistress] initializing ...
[2017-04-24 10:36:55,021][INFO ][plugins                  ] [Mist Mistress] modules [lang-groovy, reindex, lang-expression], plugins [], sites []
[2017-04-24 10:36:55,069][INFO ][env                      ] [Mist Mistress] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [11.9gb], net total_space [19.5gb], spins? [unknown], types [rootfs]
[2017-04-24 10:36:55,069][INFO ][env                      ] [Mist Mistress] heap size [1015.6mb], compressed ordinary object pointers [true]
[2017-04-24 10:36:59,763][INFO ][node                     ] [Mist Mistress] initialized
[2017-04-24 10:36:59,770][INFO ][node                     ] [Mist Mistress] starting ...
[2017-04-24 10:37:00,014][INFO ][transport                ] [Mist Mistress] publish_address {127.0.0.1:9301}, bound_addresses {127.0.0.1:9301}
[2017-04-24 10:37:00,031][INFO ][discovery                ] [Mist Mistress] elasticsearch/a-VF8e_uQZ2y0k-wB_eeug
[2017-04-24 10:37:03,389][INFO ][cluster.service          ] [Mist Mistress] detected_master {Anelle}{K2u_6PgETsG5BifXQxfO2w}{127.0.0.1}{127.0.0.1:9300}, added {{Anelle}{K2u_6PgETsG5BifXQxfO2w}{127.0.0.1}{127.0.0.1:9300},}, reason: zen-disco-receive(from master [{Anelle}{K2u_6PgETsG5BifXQxfO2w}{127.0.0.1}{127.0.0.1:9300}])
[2017-04-24 10:37:03,855][INFO ][http                     ] [Mist Mistress] publish_address {127.0.0.1:9201}, bound_addresses {127.0.0.1:9201}
[2017-04-24 10:37:03,860][INFO ][node                     ] [Mist Mistress] started

如果你是后台启动,将看不到任何输出,除非出错了,可以使用如下命令,查看都端口情况:

[yh@centos bin]$ netstat -apn | grep 9200

三、一些ES的概念

1.ES中的Bool查询有三种状态,分别是must,should,must_not。说实话,我都怀疑我的语文是体育老师教的,当时我看到这个时,想了很久都没有搞懂。在加上看的是英文,我更懵逼了。如果你有SQL语言的基础,那么就很好理解了。

① must 相当于 SQL 的 and条件,比如你用SQL查询价格,你会写出如下sql语句:

select * from table_name where id = 1000 and price = 50;

这样的语句就相当于ES的must查询。

② shoud相当于SQL 的 or条件,例如:

select * from table_name where id = 1000 or price = 50;

③ must_not 相当于SQL的not in,例如:

select * from table_name where id not in(1000);

must_not即不包含某某。

对于大于等于,区间值等,API的文档中有详细的说明。

如果你想知道更多的概念,那么请点击我上面说明的连接地址,他们讲解的更清楚,我不在造轮子。

四、应用思路

1.学习ES的相关基础知识和概念;
2.了解项目需求;
3.考虑ES的所需功能是否能够解决当前的项目需求;
4.考虑之后,部署ES,如果能力可能,可自行封装一层,原生的ES操作比较复杂,数据拼接容易出错且不好维护;
5.编写Mapping,建立索引;
6.导入数据;
7.数据导入之后便可查询、重索引等各种测试,如果没有数据,一切都是瞎忙活;
8.应用到实际项目中。

由于小编也是刚接触ES不久,因此上面说的步骤不一定适合你,上面步骤是我经验丰厚的同事教的方法,我根据他教的方法终结出来的。这里我只是提供我自己学习的路线,你可以自己根据自己的能力调整。

五、Mapping映射(高级)

虽然ES可以根据数据的格式自动创建Mapping,他将所有的对象都映射成Object,但很多时候是不满足项目需求的,基础的Mapping映射我就不解释,官方文档比我说得清楚,不需要你看英文说明,仅看代码就秒懂,并且网上一搜一大堆。我在做项目时遇到的映射,在网上并没有找到。首先,请看下面这个json数据,我们需求是,能够查询字段”schedule_info”中时间区间或者日期区间,看到这个json你也许知道,sql是做不到的(”schedule_info字段是以json字符串保存到数据库中的”),而ES是可以的,但是ES要实现这个功能,需要用到Nested查询,那么在写Mapping时,就必须将其转化为对象。

{
    "id": 1000017,
    "status": 0,
    "name": "HHH",
    "daily_budget": 410000,
    "schedule_info": {
        "date": [
            {
                "start": "2017-04-20",
                "end": "2017-04-20"
            },
             {
                "start": "2017-04-20",
                "end": "2017-04-20"
            }
        ],
        "time": [
            {
                "start": "00:00",
                "end": "23:59"
            },
             {
                "start": "00:00",
                "end": "23:59"
            }
        ]
    },
    "serving_speed": 0,
    "create_time": 1492694481227,
    "start_schedule": 1492694481227,
    "end_schedule": 1499994481227,
    "create_user": "admin",
    "update_user": "unknown"

}

“schedule_info”字段包含了一个date和time两个属性,而这两个属性是都是数据,那么在写mapping时,该怎么写,我在做项目时,琢磨了一天,才弄明白ES的对象嵌套映射。下面是我的mapping。

{
  "order": 0,
  "template": "Yaohong-plan-*",
  "settings": {
    "index": {
      "number_of_replicas": "1",
      "number_of_shards": "5",
      "refresh_interval": "1s"
    }
  },
  "mappings": {
    "_default_": {
      "properties": {
        "update_user": {
          "index": "not_analyzed",
          "type": "string" },
        "status": {
          "type": "integer" },
        "end_schedule": {
          "format": "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type": "date" },
        "serving_speed": {
          "type": "integer" },
        "id": {
          "type": "long" },
        "update_time": {
          "format": "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type": "date" },
        "start_schedule": {
          "format": "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type": "date" },
        "daily_budget": {
          "type": "integer" },
        "create_time": {
          "format": "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type": "date" },
        "create_user": {
          "index": "not_analyzed",
          "type": "string" },
        "schedule_info": {
          "type":"nested",
          "properties":{ "date":{ "properties":{ "start":{ "type":"date", "format":"yyyy-MM-dd||epoch_millis" }, "end":{ "type":"date", "format":"yyyy-MM-dd||epoch_millis" } } }, "time":{ "properties":{ "start":{ "type":"integer" }, "end":{ "type":"integer" } } } } }
      },
      "_all": {
        "enabled": false
      }
    }
  },
  "aliases": {
    "Yaohong-plan-active": {}
  }
}

那么如果我需要查询日期在某个区间怎么去查询呢?请看下面的查询语句:

{
  "bool" : {
    "must" : [ {
      "term" : {
        "status" : "0"
      }
    }, {
      "nested" : {
        "query" : {
          "bool" : { "filter" : [ { "range" : { "schedule_info.date.start" : { "from" : "2017-03-05", "to" : null, "format" : "yyyy-MM-dd", "include_lower" : true, "include_upper" : true } } }, { "range" : { "schedule_info.date.end" : { "from" : null, "to" : "2017-09-12", "format" : "yyyy-MM-dd", "include_lower" : true, "include_upper" : true } } } ] } },
        "path" : "schedule_info"
      }
    } ],
    "should" : {
      "match" : {
        "name" : {
          "query" : "YangHong",
          "type" : "boolean" }
      }
    }
  }
}

从查询语句可以看出,ES对对象进行了扁平化的处理方式,如schedule_info.date.endDate,基于别的对象或者是数组的映射,官方文档都有很详细的说明,我给出的例子,在官方文档是没有的,因此分享给大家,当你看完这个例子,相信别的复杂映射都可以解决了。

另外需要说明的是,ES查询日期类型时,其查询格式必须与Mapping映射时的格式一模一样,否则会出错,对于单纯的时间查询,需要转化成可比较的数据类型,像“06.30”这样的时间数据,ES会以字符串的形式比较,从而得不到正确的结果。在此例子中,我将时间转化成为了整型,方便查找时间区间。

由于小编能力有限,如有错误,请指正,谢谢合作!

你可能感兴趣的:(ES)