elasticsearch与模糊聚合

前言

作为google，baidu或者bing的用户，我们都遇到过模糊搜索的情况：当系统实在找不到能精准匹配我们需要搜索的词组时，会将词组中的单词进行近意词替换并推荐给我们。但是今天我们并非介绍如何进行模糊搜索，因为这个已经有很多文章介绍过这类问题，我们今天要介绍的是数据的模糊聚合。

大数据的组成

作为一个大数据公司，所有的应用都围绕这数据展开。其中主要分为三个部分：
1.数据的获取
2.数据的清洗与分析
3.数据的可视化

其中数据的可视化则需要我们预先对数据进行处理。在很多时候，用户并不关心每一条数据的内容是什么，更多的希望知道一个大致的情况。比如爬虫，我们在进行数据可视化的时候想了解每一个小时数据入库的多少，一个小时内各个网站数据入库的数量。在销售系统中，用户更多的想知道每个月销售的总量以及最畅销商品的销售额。在大数据环境下，实时性对数据统计和分析提出了更高的要求。但是幸运的是，借助与elasticsearch的高级聚合功能，这样的要求并非不可能完成。

Elasticesearch介绍

Elasticsearch 是一个可伸缩的开源全文搜索和分析引擎。它可以快速地存储、搜索和分析海量数据。它通常用来支撑有复杂的数据搜索需求的企业级应用。与sphinx相比，elasticsearch是动态的，能够实时的更新索引。因此，在国内，已经有携程这样的公司用来进行日志的存储和分析。在国外，连github这样鼎鼎有名的网站的搜索也是基于elasticsearch构建的。
除了搜索之外，elastic这家公司还提供了诸如logstash, kiban等工具来数据的搜集以及数据的可视化。通过配置这些工具，构成了俗称ELK的技术栈。

分布式大数据搜索引擎的trade-off

在经济学范畴类，有一个非常有名的三元悖论。即：资本自由进出，固定汇率，独立自主的货币政策。一个国家不可能同时完成下列三者。

同样，在对数据进行检索的过程，受到CPU效率和内存使用的限制，也存在着类似的三元悖论：
1.数据体量
2.搜索的精准度
3.实时性
任何搜索引擎不可能同时完成三者。

借助归并排序的概念来解释一下elasticsearch的分布式检索的原理。
1.当我们搜索某关键字的时候。主节点向所有子节点广播请求。
2.所有子节点的每一个分片通过关键字进行检索，并按照关联度从高到底排序返回主节点。
3.主节点接收所有返回的数据，并将所有数据按关联度从高到底排序，并将最前面的十几个或者几十个返回给用户。

假设我们有5个子节点。我们要获取前10个查询的结果，那么就意味着每个子节点至少会返回10个数据，到达主节点候，数据量为50个。若是我们要获取第1000个到1010个数据的时候，就意味着每个子节点就要返回1010个数据，而主节点需要对5050个数据进行排序。如果查询的页数更大时候，搜索引擎负担就会越来越大。因此必须对搜索返回的数量予以限制。不光是elasticsearch, 我们可以发现，google，bing和baidu在返回搜索结果的时候，也有着同样的页数限制。

模糊聚合的权衡

在介绍模糊聚合之前，我们先介绍一下聚合的概念。正如之前提及的，作为销售者，并不想详细了解到每一笔订单的细节，而是想知道每个月销售的总量，或者一个月内每一周销售的总量。又或者想要知道同一款车不同颜色的销量以分析出哪种颜色的车子更受欢迎。这样的数据处理就是聚合。

以车辆颜色的聚合为例，查询语句如下：

curl -XGET 'http://localhost:9200/cars/transactions/_search?pretty' -d'
{
    "size" : 0,
    "aggs" : { 
        "popular_colors" : { 
            "terms" : { 
              "field" : "color"
            }
        }
    }
}'

返回的结果为就会以颜色进行分别统计。
由于是普通的聚合查询，返回的结果是精确的，在数据量大的情况下，就决定了我们的响应结果不可能很快。然而搜索就真的无法做到又快又准又大了么？
在模糊聚合的情况下，elasticsearch允许我们在精确度上做出一点点牺牲，来换取响应速度极大的提高。
试想一下如下的应用场景：
1.百分之99的搜索延迟为132ms
2.使用了模糊算法，延迟会有+/- 0.66ms的偏差，结果也有0.5%的误差。
3.模糊搜索的延迟是毫秒级，而精准搜索的相应是秒级。
实际上，用户真的会纠结于这0.66ms的延迟以及0.5%的搜索误差么？如果答案是否，那么我们可以使用模糊聚合来加快查询的速度。
还是以车辆颜色查询为例子，如果采用了模糊查询，查询语句如下：

curl -XGET 'http://localhost:9200/cars/transactions/_search?pretty' -d'
{
    "size" : 0,
    "aggs" : { 
        "popular_colors" : { 
            "cardinality" : { 
              "field" : "color"
            }
        }
    }
}'

仅仅是替换查询的度量，速度得到的极大的提升。
模糊查询的度量分为两种，一种是前面使用过的cardinality, 另一种是percentiles。顾名思义，percentiles是统计数量的百分比。在某些应用场景中，比如网络管理员，在进行运维的时候并不想知道通常情况下的网络延迟，而是想了解那些异常的网络延迟，这个时候就可以通过percentiles来将异常的数据筛选出来。从而进一步定位问题的源头。

查询语句如下：

curl -XGET 'http://localhost:9200/website/logs/_search?search_type=count' -d'
{
    "size" : 0,
    "aggs" : { 
        "load_times" : { 
            "percentiles" : { 
              "field" : "latency"
            }
        }
    }
}'

总结

作为一款分布式的搜索引擎，elasticsearch已经不满足与仅仅提供搜索功能，还提供的强大的实时分析。借助于模糊查询，我们能在牺牲微小精度的情况下，实现实时的大数据统计