Elasticsearch 概述

1. Elasticsearch 概述

Elasticsearch，简称为 es，es 是一个基于 json 的开源，高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据，本身扩展性很好，可以扩展到上百台服务器，处理 pb  级别的数据，es 也使用 java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 restful api 来隐藏 Lucene 的复杂性，从而让全文搜索变得简单，据国际权威的数据库产品评测机构 DB Engines 的统计，在 2016 年 1 月，ElasticSearch 已超过 solr 等，成为排名第一的搜索引擎类应用；

历史：

多年前，一个叫做 Shay Banon 的刚结婚不久的失业开发者，由于妻子要去伦敦学习厨师，他便跟着也去了。在他找工作的过程中，为了给妻子构建一个食谱的搜索引擎，他开始构建一个早期版本的Lucene。直接基于Lucene工作会比较困难，所以 Shay 开始抽象 Lucene 代码以便 java 程序员可以在应用中添加搜索功能。他发布了他的第一个开源项目，叫做 Compass"。后来 Shy 找到一份工作，这份工作处在高性能和内存数据网格的分布式环境中，因此高性能的、实时的、分布式的搜索引擎也是理所当然需要的，然后他决定重写 Compass  库使其成为一个独立的服务叫做 Elasticsearch。第一个公开版本出现在 2010 年 2 月，在那之后 Elasticsearch 已经成为 Github 上最受欢迎的项目之一，代码贡献者超过300人。一家主营 Elasticsearch 的公司就此成立，他们一边提供商业支持一边开发新功能，不过 Elasticsearch 将永远开源目对所有人可用。

谁在使用呢？

1. 维基百科，类似百度百科，全文检索，高亮，搜索推荐（权重）；
2. The Guardian (国外新闻网站)，类似搜孤新闻，用户行为日志（点击，浏览，收藏，评论）+ 社交网络数据（对某某新闻的相关看法)，数据分析，给到每篇新闻文章的作者，让他知道他的文章的公众反馈（好，坏，热门，垃圾，鄙视，崇拜）；
3. Stack Overflow (国外的程序异常讨论论坛)，it 问题，程序的报错，提交上去，有人会跟你讨论和回答，全文检索，搜索相关问题和答案，程序报错了，就会将报错信息粘贴到里面去，搜索有没有对应的答案
4. GitHub (开源代码管理)，搜索上千亿行代码；
5. 电商网站检索商品；
6. 日志数据分析，logstash 采集日志，ES 进行复杂的数据分析，ELK 技术，elasticsearch + logstash + kibana；
7. 商品价格监控网站，用户设定某商品的价格阈值，当低于该阈值的时候，发送通知消息给用户，比如说订阅牙膏的监控，如果高露洁牙膏的家庭套装低于 50 块钱，就通知我，我就去买；
8. BI 系统，商业智能，Business Intelligence，比如说有个大型商场集团，分析一下某某区域最近 3 年的用户消费金额的趋势以及用户群体的组成构成，产出相关的数张报表；ES 执行数据分析和挖掘，Kibana 进行数据可视化；
9. 国内：站内搜索（电商，招聘，门户，等等），it 系统搜索 (OA，CRM，ERP 等等)，数据分析(ES 热门的一个使用场景）；

二. Solr 与 ES 的对比以及选型

Elasticsearch 简介

Elasticsearch 是一个实时分布式搜索和分析引擎，它让你以前所未有的速度处理大数据成为可能。它用于全文搜索、结构化搜索、分析以及将这三者混合使用：
维基百科使用 Elasticsearch 提供全文搜索并高亮关键字，以及输入实时搜索 (search-asyou-type) 和搜索纠错 (did-you-mean) 等搜索；建议功能：英国卫报使用 Elasticsearch 结合用户日志和社交网络数据提供给他们的编辑以实时的反馈，以便及时了解公众对新发表的文章的回应。
StackOverflow 结合全文搜索与地理位置查询，以及 more-like-this 功能来找到相关的问题和答案。

Github 使用 Elasticsearch 检索 1300 亿行的代码；但是 Elasticsearch 不仅用于大型企业，它还让像 DataDog 以及 Klout 这样的创业公司将最初的想法变成可扩展的解决方案。 Elasticsearch 可以在你的笔记本上运行，也可以在数以百计的服务器上处理 PB 级别的数据。Elasticsearch 是一个基于 Apache Lucene (TM) 的开源搜索引擎，无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库，但是，Lucene 只是一个库，想要使用它，你必须使用 java 来作为开发语言并将其直接集成到你的应用中，更糟糕的是 Lucene 非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的，Elasticsearch 也使用 java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 restful api 来隐藏 Lucene 的复杂性，从而让全文搜索变得简单。

Solr 简介

Solr 是 Apache 下的一个顶级开源项目，采用 java 开发，它是基于 Lucene 的全文搜索服务器，Solr 提供了比 Lucene  更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化；Solr 可以独立运行，运行在 jetty、Tomcat 等这些 Servlet 容器中，Solr 索引的实现方法很简单，用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 xml 文档，Solr 根据 xml 文档添加、删除、更新索引，Solr 搜索只需要发送 HTTP GET 请求，然后对 Solr 返回 xml、json 等格式的查询结果进行解析，组织页面布局。Solr 不提供构建的功能，Solr 提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。Solr 是基于 lucene 开发企业级搜索服务器，实际上就是封装了lucene，Solr是一个独立的企业级搜索应用服务器，它对外提供类似于 web-service 的 api 接口，用户可以通过 http 请求，向搜索引擎服务器提交一定格式的文件，生成索引；也可以通过提出查找请求，并得到返回结果。

Lucene 简介

Lucene 是 apache 软件基金会4 jakarta 项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene 的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库，由 Apache 软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在 java 开发环境里 Lucene 是一个成熟的免费开源工具。就其本身而言，Lucene 是当前以及最近几年最受欢迎的免费 java 信息检索程序库，人们经常提到信息检索程序库，虽然与搜索引擎有关，但不应该将信息检索程序库与搜索引擎相混淆；Lucene 是一个全文检索引擎的架构。那什么是全文搜索引擎？全文搜索引擎是名副其实的搜索引擎，国外具代表性的有 Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut 等，国内著名的有百度 (Baidu)，它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。
从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序 (Indexer)，俗称 "蜘蛛" (Spider) 程序或 "机器人" (Robot) 程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的 7 家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如 Lycos 引擎；

ElasticSearch 和 Solr 总结

1. ES 解压就可以使用，非常简单，而 Solr 安装稍微有点复杂；
2. Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearc 自身带有分布式协调管理功能；
3. Solr 支持更多格式的数据，比如 json，xml，csv，而 ES 仅支持 json 文件格式；
4. Solr 官方提供的功能更多，而 ES 本身更注重于核心功能，高级功能多有第三方插件提供，例如图形化界面需要 kibana 友好支撑；
5. Solr 查询快，但更新索引时慢（即插入删除慢），用于电商等查询多的应用；ES 建立索快（即查询慢），即实时性查询快，用于 facebook 新浪等搜索；Solr 是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用；
6. Solr 比较成熟，有一个更大，更成熟的用户、开发和贡献者社区，而 Elasticsearch 相对开发维护者较少，更新太快，学习使用成本较高；