ElasticSearch教程系列（一）

（1）什么是搜索

搜索，第一反应百度、谷歌。百度：比如说我们想找寻任何的信息，都会去网上搜索一下，比如说找一部自己喜欢的电影，或者说找一本喜欢的书等等。但是百度！=搜索。

搜索：就是在任何的场景下，找寻你想要的信息，这个时候，会输入一段你想要搜索的关键字，然后就期望找到这个关键字相关的信息。

常见的搜索比如说：互联网搜索，电商网站，招聘网站，新闻网站等等。

---

（2）如何用数据库做搜索会怎么样？

做软件开发的，或者对计算机有了解的，都知道，数据是存储在数据库里面的，比如说电商网站的商品信息，招聘网站上的职位信息等等，所以自然一点的说，如果从技术角度去考虑，如何实现如说：电商网站内部的搜索功能的话，就可以考虑，去使用数据库去进行搜索。

但是数据库搜索具有局限性:

• 比方说：每条记录的制定字段的文本，可能会很长，比如说：商品描述字段可能会达数万字段，这个时候，每次对要对每条记录的所有文本进行搜索。
• 数据库不能进行分词搜索。就比如说搜索生化机不能把生化危机搜索出来。

---

（3）什么是全文检索和Lucene

全文检索图解如下：

全文搜索过程.jpg

Lucene：Lucene,就是一个jar包，里面包含了封装好的各种建立倒排索引，以及进行搜索的代码，包括各种算法。如果采用java开发，直接引入Lucene jar，然后基于lucene的api进行开发。用lucene，我们就可以去将已有的数据建立索引，lucene会在本地磁盘上面，给我们组织索引的数据结构。

---

（4）什么是Elasticsearch？

为什么引入Elasticsearch图解如下：

为什么引入ES.jpg

Elasticsearch（ES）是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎;还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，是一个几乎实时的搜索平台,能够横向扩展至数以百计的服务器存储以及处理PB级的数据。可以在极短的时间内存储、搜索和分析大量的数据。

特点：可大可小、全文检索、分布式 数据分析 合并、开箱即用、非常简单、传统数据库的补充。

---

（5）Elasticsearch的功能，可以做什么？

• 分布式的搜索引擎和数据分析引擎
  1、搜索：百度，网站的站内搜索、IT系统检索。
  2、数据分析：比如电商网站最近7天电子产品销量排名前十的商家有那些，新闻网站，最近1个月访问量前三的新闻模块是那些。

• 全文检索，结构化检索，数据分析。
  1、全文检索：比如搜索商品中为手机的商品select * from products where product_name like "%手机%"
  2、结构化检索：比如搜索商品分类为日化用品的商品有那些select * from products where category_id = '日化商品'
  3、数据分析：分析每一个商品分类下有多少个商品select category_id，count(*) from products group by category_id

• 对海量数据进行近实时的处理
  1、分布式：ES自动可以将海量数据分散到多台服务器上去存储和检索。
  2、海量数据处理：分布式后，可以采用大量的服务器去储存和检索数据，自然而然就可以实现海量数据的处理。
  3、近实时：秒级别对数据进行搜索和分析。

与分布式/海量数据相反的：lucene 单机应用，只能在单台服务器上使用，最多只能处理单台服务器可以处理数据。

---

（6）Elasticsearch的适用场

国外

• 维基百科，类似百度百科，牙膏，牙膏的维基百科，全文检索，高亮，搜索推荐
• The Guardian（国外新闻网站），类似搜狐新闻，用户行为日志（点击，浏览，收藏，评论）+社交网络，数据（对某某新闻的相关看法），数据分析，给到每篇新闻文章的作者，让他知道他的文章的公众反馈（好，坏，热门，垃圾，鄙视，崇拜）
• Stack Overflow（国外的程序异常讨论论坛），IT问题，程序的报错，提交上去，有人会跟你讨论和回答 全文检索，搜索相关问题和答案，程序报错了，就会将报错信息粘贴到里面去，搜索有没有对应的答案
• GitHub（开源代码管理），搜索上千亿行代码
• 电商网站，检索商品
• 日志数据分析，logstash采集日志，ES进行复杂的数据分析（ELK技术，elasticsearch+logstash+kibana）
• 商品价格监控网站，用户设定某商品的价格阈值，当低于该阈值的时候，发送通知消息给用户，比如说订阅牙膏的监控，如果高露洁牙膏的家庭套装低于50块钱，就通知我，我就去买
• BI系统，商业智能，Business Intelligence。比如说有个大型商场集团，BI，分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成，产出相关的数张报表，**区，最近3年，每年消费金额呈现100%的增长，而且用户群体85%是高级白领，开一个新商场。ES执行数据分析和挖掘，Kibana进行数据可视化

国内

• 国内：站内搜索（电商，招聘，门户，等等），IT系统搜索（OA，CRM，ERP，等等），数据分析。

---

（7）Elasticsearch核心概念

• Near Realtime(NRT)
  近实时，从写如数据到数据被搜索到有一个延迟(大概1秒)；执行搜索和分析可以到秒级

• Cluster 集群
  群集是一个或多个节点（服务器）的集合， 这些节点共同保存整个数据，并在所有节点上提供联合索引和搜索功能。一个集群由一个唯一集群ID确定，并指定一个集群名（默认为“elasticsearch”）。该集群名非常重要，因为节点可以通过这个集群名加入群集，一个节点只能是群集的一部分。

• Node节点
  节点是单个服务器实例，它是群集的一部分，可以存储数据，并参与群集的索引和搜索功能。就像一个集群，节点的名称默认为一个随机的通用唯一标识符（UUID），确定在启动时分配给该节点。如果不希望默认，可以定义任何节点名。这个名字对管理很重要，目的是要确定你的网络服务器对应于你的ElasticSearch群集节点。

• Document & Field文档
  文档是可以被索引的信息的基本单位。一个document可以是一条客户数据，一条商品分类数据，一条订单数据，通常用json表示。Index 里面单条的记录称为 Document（文档）。许多条 Document 构成了一个 Index,一个document里面可以有多个filed,每个filed就是一个数据字段。

eg： product docume { "product_id":"1", "product_name":"牙刷", "produce_desc":"美白", "category_id":"1", "category_name":"日化用品" }

• Index索引
  索引是具有相似特性的文档集合，索引由名称（必须全部为小写）标识，该名称用于在对其中的文档执行索引、搜索、更新和删除操作时引用索引。例如，建立一个produce index ，里面可能就存放了所有的商品数据。

• Type类型
  Type是index的逻辑数据分类，一个索引内部可定义一个或多个类型(type)。一般来说，不同的 Type 应该有相似的结构。举例来说，id字段不能在这个组是字符串，在另一个组是数值。性质完全不同的数据（比如products和logs）应该存成两个 Index，而不是一个 Index 里面的两个 Type。Eg:比如说一个商品index包含很多商品document,但是商品有很多分类（电器产品、生鲜产品，日化产品），每个种类的document的filed可能不太一样。

• Shard分片
  索引可以存储大量的数据，这些数据可能超过单个节点的硬件限制。索引可以存储大量的数据，这些数据可能超过单个节点的硬件限制。es可以将一个索引中的数据切分为多个shard,分布在多个服务器上存储，有了shard就可以横向扩展，存储更多的数据，让搜索和分析等操作分布到多台服务器上去执行，提升吞吐量和性能，每个shard都是一个Lucene index,可以被放置到集群中的任何节点上。

• Replicas副本
  任何一台服务器随时可能故障或者宕机，此时shard就可能会丢失，因此可以为每个shard创建多个replica，replica可以在shard故障时提供备用服务，保证数据不丢失，多个replica 还可以提升搜索操作的吞吐量和性能。primary shard（建立时一次设置，不能修改，5个），replica shard （随时可修改，默认1个）

---

后续系列持续更新，敬请期待……