背景
最近项目中需要做一些大数据的全文检索功能，以前项目中都是基于 Lucene 进行的开发。而随着互联网技术架构的发展，近几年搜索引擎技术发展迅速，其中ElasticSearch进行技术的预演。 的热度一直都在搜索引擎排在前面，它的实时搜索、稳定、分布式、REST API 封装都是它的特点。结合网上其他资料对比，这个项目也打算使用 ElasticSearch 进行技术的预演。
预演步骤
既然技术选型已经确定，接下来就是围绕这个目标进行一步一步的任务细化。而且因为时间线不能拉太长，所以目前是先能够和业务集成，对应一些底层的集群、分片等原理性的内容，放到最后再去深入了解。
- 了解 ElasticSearch 基本概念，基本原理
- 了解 ElasticSearch 基本使用方法，如何安装、创建索引、检索，分布式等。
- 和实际业务结合，开发集成 ElasticSearch 。
- 了解 ElasticSearch 更多细节的东西，优化，扩展等。
本文主要介绍一些 ElasticSearch 基本概念，以及和 Apache solr 的一些对比。
基本概念
什么是elasticsearch？
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。-----百度百科
为什么会用到elasticsearch？
涉及到like的大数据量模糊查询，如果是直接对数据库进行查询的话，由于like模糊查询无法对数据列应用索引，所以需要一条条字符串进行比对查询，效率非常低下。所以在Java中，解决大数据量的模糊查询，就会用到建立索引库，全文检索的查询技术。
Elasticsearch中的几个核心概念
全文检索
全文搜索引擎是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。-----百度百科
全文索引
采用分词器，对文本每个词进行切分，建立词条，方便进行查找
索引（index）
一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引。 这里索引相当于关系型数据库中的库。
倒排索引
也常被称为反向索引，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成：“单词词典”和“倒排文件”。源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。这里的倒排索引相当于关系型数据库中的索引
类型（type）
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。这里的类型相当于关系型数据库中的表
文档（document）
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。在一个index/type里面，只要你想，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的type。这里的文档相当于关系型数据库中表的记录
文档元数据（Field）
文档元数据_index：文档在哪存放_type：文档表示的对象类别_id：文档唯一标识ID 是一个字符串，当它和 _index 以及 _type 组合就可以唯一确定 Elasticsearch中的一个文档。 当你创建一个新的文档，要么提供自己的 _id ，要么让 Elasticsearch 帮你生成。这里的文档元数据相当于关系型数据库中的表中的字段
分词
分词就是把一段连续的文本按照语义拆分成多个单词，然后Es按照单词来给记录做索引，分词后的集合就是作为倒排索引的key值。 ES 内部内置了多种分词器，如果要对中文分词则需要ik分词器。例如：苹果手机，通过分词器分析可能被拆分为苹果、手机。
分片和复制（shards & replicas）
一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。 分片之所以重要，主要有两方面的原因：
- 允许你水平分割/扩展你的内容容量
- 允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户的你来说，这些都是透明的。在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。 复制之所以重要，有两个主要原因：
- 在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。
- 扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行
集群（cluster）
一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发也是不错的。
节点（node）
一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做 “elasticsearch” 的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做 “elasticsearch” 的集群中。 在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做 “elasticsearch” 的集群。
elasticsearch与 Apache solr的比较
Apache solr 优点
- Solr有一个更大、更成熟的用户、开发和贡献者社区。
- 支持添加多种格式的索引，如：HTML、PDF、微软 Office 系列软件格式以及 JSON、XML、CSV 等纯文本格式。
- Solr比较成熟、稳定。
- 不考虑建索引的同时进行搜索，速度更快。
solr缺点
建立索引时，搜索效率下降，实时索引搜索效率不高。
Elasticsearch 优点
- Elasticsearch 是分布式的。不需要其他组件，分发是实时的，被叫做”Push replication”。
- Elasticsearch 完全支持 Apache Lucene 的接近实时的搜索。
- 处理多租户（multitenancy）不需要特殊配置，而Solr则需要更多的高级设置。
- Elasticsearch 采用 Gateway 的概念，使得完备份更加简单。
- 各节点组成对等的网络结构，某些节点出现故障时会自动分配其他节点代替其进行工作。
缺点
- 只有一名开发者（当前 Elasticsearch GitHub 组织已经不只如此，已经有了相当活跃的维护者）
- 还不够自动（不适合当前新的Index Warmup API）
对比结果
- 当单纯的对已有数据进行搜索时，Solr 更快。
- 当实时建立索引时, Solr会产生io阻塞，查询性能较差, Elasticsearch 具有明显的优势。
- 随着数据量的增加，Solr的搜索效率会变得更低，而 Elasticsearch 却没有明显的变化。
- Solr 的架构不适合实时搜索的应用。
- Solr 支持更多格式的数据，而 Elasticsearch 仅支持 json 文件格式
- Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch
- Solr 是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用。
关于ELKB
先说下ELK，ELK是一个流行的日志系统解决方案，注意，ELK不是一个软件名，而是一个解决方案的缩写，即Elasticsearch+Logstash+Kibana（ELK Stack）这三个软件的集合。
- Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能。
- Logstash：数据收集额外处理和数据引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置。
- Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示。
总结
这篇文章主要是对一些基本概念进行总结，要引入一门新的技术栈，就必须先对这门技术的基本概念有一定了解，然后和市场常用技术进行对比，了解优势和劣势，在有一定的了解之后，就可以进入下一阶段了，下一阶段将介绍如何安装 Elasticsearch 如何使用它的Api进行查询。 如果觉得有用，可以关注公众号：科比可比克。 原文链接：ES 入门