小波同学
小波同学

Elasticsearch——聚合搜索

聚合分析简介

聚合分析：英文为Aggregation，是es除搜索功能外提供的针对es数据做统计分析的功能。

  • 功能丰富，提供Bucket、Metric、Pipeline等多种分析方式，可以满足大部分的分析需求。
  • 实时性高，所有的计算结果都是即时返回的，而hadoop等大数据系统一般都是 T+1级别的。

聚合框架有助于根据搜索查询提供聚合数据。聚合查询是数据库中重要的功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。它基于查询条件来对数据进行分桶、计算的方法。有点类似于 SQL 中的 group by 再加一些函数方法的操作。聚合可以嵌套，由此可以组成复杂的操作（Bucketing聚合可以包含sub-aggregation）。

聚合分析作为search的一部分，聚合计算的值可以取字段的值，也可是脚本计算的结果。查询请求体中以aggregations节点的语法定义：


Elasticsearch——聚合搜索_第1张图片
image.png

聚合分析-分类

Elasticsearch除全文检索功能外提供的针对Elasticsearch数据做统计分析的功能。它的实时性高，所有的计算结果都是即时返回。

Elasticsearch将聚合分析主要分为如下4类：

  • Bucket-分桶类型：分桶类型，类似SQL中的GROUP BY语法 （满足特定条件的文档的集合）。
  • Metric-指标分析类型：指标分析类型，如计算最大值、最小值、平均值等等 （对桶内的文档进行聚合分析的操作）。
  • Pipeline-管道分析类型：管道分析类型，基于上一级的聚合分析结果进行在分析。
  • Matrix-矩阵分析类型：矩阵分析类型（聚合是一种面向数值型的聚合，用于计算一组文档字段中的统计信息）。

指标（metric）和 桶（bucket）

虽然Elasticsearch有四种聚合方式，但在一般实际开发中，用到的比较多的就是Metric和Bucket。

桶（bucket）
  • a、简单来说桶就是满足特定条件的文档的集合。
  • b、当聚合开始被执行，每个文档里面的值通过计算来决定符合哪个桶的条件，如果匹配到，文档将放入相应的桶并接着开始聚合操作。
  • c、桶也可以被嵌套在其他桶里面。
指标（metric）
  • a、桶能让我们划分文档到有意义的集合，但是最终我们需要的是对这些桶内的文档进行一些指标的计算。分桶是一种达到目的地的手段：它提供了一种给文档分组的方法来让我们可以计算感兴趣的指标。
  • b、大多数指标是简单的数学运算（如：最小值、平均值、最大值、汇总），这些是通过文档的值来计算的。

metric聚合分析

主要分如下两类:

  • 单值分析，只输出一个分析结果
    • min、max、avg、sum
    • cardinality

其中，Min、Max、Avg、Sum 这些很容易理解，在这里说一下 Cardinality，它是指不同数值的个数，相当于 SQL 中的 distinct。

  • 多值分析，输出多个分析结果
    • stats、extended stats
    • percentile、percentile rank
    • top hits
  • Stats 是做多样的数据分析，可以一次性得到最大值、最小值、平均值、中值等数据。
  • Extended Stats 是对 Stats 的扩展，包含了更多的统计数据，比如方差、标准差等。
  • Percentiles 和 Percentile Ranks 是百分位数的一个统计。
  • Top Hits 一般用于分桶后获取桶内最匹配的顶部文档列表，即详情数据。

Metric聚合分析-Min

返回数值类字段的最小值

GET /book/_search
{
  "size":0,
  "aggs":{
    "min_price":{
      "min":{
        "field":"price"
      }
    }
  }
}

Metric聚合分析-Max

返回数值类字段的最大值

GET /book/_search
{
  "size":0,
  "aggs":{
    "max_price":{
      "max":{
        "field":"price"
      }
    }
  }
}

Metric聚合分析-Sum

返回数值类字段的和

GET /book/_search
{
  "size":0,
  "aggs":{
    "sum_price":{
      "sum":{
        "field":"price"
      }
    }
  }
}

一次性返回多个结果集

GET /book/_search
{
  "size":0,
  "aggs":{
    "min_price":{
      "min":{
        "field":"price"
      }
    },
    "max_price":{
      "max":{
        "field":"price"
      }
    }
  }
}

Metric聚合分析-Avg

返回数值类字段的平均值

GET /book/_search
{
  "size":0,
  "aggs":{
    "avg_price":{
      "avg":{
        "field":"price"
      }
    }
  }
}

值统计

Value Count Aggregation，值计数聚合。计算聚合文档中某个值（可以是特定的数值型字段，也可以通过脚本计算而来）的个数。该聚合一般域其它 single-value 聚合联合使用，比如在计算一个字段的平均值的时候，可能还会关注这个平均值是由多少个值计算而来。

GET /book/_search
{
  "size":0,
  "aggs":{
    "count_of_tags":{
      "value_count":{
        "field":"tags"
      }
    }
  }
}

Metric聚合分析-Cardinality

Cardinality：意为集合的势，或者基数，是指不同数值的个数，类似SQL中的distinct count概念。

GET /book/_search
{
  "size":0,
  "aggs":{
    "count_of_tags":{
      "cardinality":{
        "field":"tags"
      }
    }
  }
}

Metric聚合分析-Stats

返回一系列数值类型的统计值，包含min、max、avg、sum和count。

GET /book/_search
{
  "size":0,
  "aggs":{
    "stats_price":{
      "stats":{
        "field":"price"
      }
    }
  }
}

Metric聚合分析-Extended Stats

Extended Stats Aggregation，扩展统计聚合。它属于multi-value，比stats多4个统计结果： 平方和、方差、标准差、平均值加/减两个标准差的区间。

GET /book/_search
{
  "size":0,
  "aggs":{
    "stats_price":{
      "extended_stats":{
        "field":"price"
      }
    }
  }
}

Metric聚合分析-Percentile

百分位数统计：
Percentiles Aggregation，百分比聚合。它属于multi-value，对指定字段（脚本）的值按从小到大累计每个值对应的文档数的占比（占所有命中文档数的百分比），返回指定占比比例对应的值。默认返回[ 1, 5, 25, 50, 75, 95, 99 ]分位上的值。

GET /book/_search
{
  "size":0,
  "aggs":{
    "percents_price":{
      "percentiles":{
        "field":"price"
      }
    }
  }
}

Metric聚合分析-Percentile Rank

百分位数统计：
Percentile Ranks Aggregation，统计价格小于40和价格小于60的文档的占比，这里需求可以使用。

GET /book/_search
{
  "size":0,
  "aggs":{
    "gge_perc_rank":{
      "percentile_ranks":{
        "field":"price",
         "values": [
          40,
          60
        ]
      }
    }
  }
}

Metric聚合分析-Top Hits

Top Hits Aggregation，最高匹配权值聚合。获取到每组前n条数据，相当于sql 中Top（group by 后取出前n条）。它跟踪聚合中相关性最高的文档，该聚合一般用做 sub-aggregation，以此来聚合每个桶中的最高匹配的文档，较为常用的统计。

GET /book/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "all_interests": {
      "terms": {
        "field": "name",
        "size": 2
      },
      "aggs": {
        "top_tag_hits": {
          "top_hits": {
            "size": 2
          }
        }
      }
    }
  }
}

一般用于分桶后获取该桶内最匹配的顶部文档列表,即详情数据

GET /book/_search
{
  "size":0,
  "aggs": {
    "top_tags": {
      "terms": {
        "field": "name",  #根据name进行分组 每组显示前3个文档
        "size": 3
      },
      "aggs": {
        "top_sales_hits": {
          "top_hits": {
            "sort": [
              {
                "timestamp": {
                  "order": "desc"  #按照时间进行倒叙排序
                }
              }
            ],
            "_source": {
              "includes": [ "name", "price" ]  #只显示文档指定字段
            },
            "size" : 1
          }
        }
      }
    }
  }
}

Geo Bounds Aggregation

Geo Bounds Aggregation，地理边界聚合。基于文档的某个字段（geo-point类型字段），计算出该字段所有地理坐标点的边界（左上角/右下角坐标点）。

GET index/type/_search?search_type=count
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "viewport": {
      "geo_bounds": {
        "field": "location",
        "wrap_longitude": true //是否允许地理边界与国际日界线存在重叠
      }
    }
  }
}
{//返回，
    ...
    "aggregations": {
        "viewport": {
            "bounds": {
                "top_left": { //这个矩形区域左上角坐标
                    "lat": 80.45,
                    "lon": -160.22
                },
                "bottom_right": {//这个矩形区域右下角坐标
                    "lat": 40.65,
                    "lon": 42.57
                }
            }
        }
    }
}

Geo Centroid Aggregation

Geo Centroid Aggregation，地理重心聚合。基于文档的某个字段（geo-point类型字段），计算所有坐标的加权重心。

GET index/type/_search?search_type=count
{
    "query" : {
        "match" : { "crime" : "burglary" }
    },
    "aggs" : {
        "centroid" : {
            "geo_centroid" : {
                "field" : "location" 
            }
        }
    }
}
{//输出
    ...
    "aggregations": {
        "centroid": {
            "location": {      //重心经纬度
                "lat": 80.45,
                "lon": -160.22
            }
        }
    }
}

Bucket桶聚合分析

Bucket Aggregations，桶聚合。

它执行的是对文档分组的操作（与sql中的group by类似），把满足相关特性的文档分到一个桶里，即桶分，输出结果往往是一个个包含多个文档的桶（一个桶就是一个group）。

它有一个关键字（field、script），以及一些桶分（分组）的判断条件。执行聚合操作时候，文档会判断每一个分组条件，如果满足某个，该文档就会被分为该组（fall in）。

它不进行权值的计算，他们对文档根据聚合请求中提供的判断条件（比如：{"from":0, "to":100}）来进行分组（桶分）。桶聚合还会额外返回每一个桶内文档的个数。

它可以包含子聚合——sub-aggregations（权值聚合不能包含子聚合，可以作为子聚合），子聚合操作将会应用到由父聚合产生的每一个桶上。

它根据聚合条件，可以只定义输出一个桶；也可以输出多个（multi-bucket）；还可以在根据聚合条件动态确定桶个数（比如：terms aggregation）。

Elasticsearch——聚合搜索_第2张图片

按照Bucket的分桶策略,常见的Bucket聚合分析如下:

  • Terms
  • Range
  • Date Range
  • Histogram
  • Date Histogram

Bucket聚合分析-Terms

Terms Aggregation，词聚合。基于某个field，该 field 内的每一个【唯一词元】为一个桶，并计算每个桶内文档个数。默认返回顺序是按照文档个数多少排序。它属于multi-bucket。当不返回所有 buckets 的情况（它size控制），文档个数可能不准确。

该分桶策略最简单，直接按照term来分桶，如果是text类型，则按照分词后的结果分桶。

GET /book/_search
{
  "aggs" : {
    "age_terms" : {
      "terms" : { 
        "field" : "name",
        "size" : 10,      #size用来定义需要返回多个 buckets（防止太多），默认会全部返回。
        "order" : { "_count" : "asc" },  #根据文档计数排序，根据分组值排序（{ "_key" : "asc" }）
        "min_doc_count": 10,            #只返回文档个数不小于该值的 buckets
        "include" : ".*sport.*",        #包含过滤
        "exclude" : "water_.*",         #排除过滤
        "missing": "N/A" 
      }
    }
  }
}

GET /book/_search
{
  "aggs": {
    "age_terms": {
      "terms": {
        "field": "price",
        "size": 5,
        "shard_size": 20, 
        "show_term_doc_count_error": true 
      }
    }
  }
}

Bucket聚合分析- Range

Range Aggregation，范围分组聚合。基于某个值（可以是 field 或 script），以【字段范围】来桶分聚合。范围聚合包括 from 值，不包括 to 值（区间前闭后开）。它属于multi-bucket。

GET /book/_search
{
  "size":0,
  "aggs": {
    "price_range": {
      "range": {
        "field": "price",
        "ranges": [ 
          {
            "to":20
          },
          {
            "from": 20,
            "to": 40
          },
          {
            "from": 60
          }
        ]
      },
      "aggs": {
        "bmax": {
          "max": {
            "field": "price"
          }
        }
      }
    }
  }
}

Bucket聚合分析- Date Range

Date Range Aggregation，日期范围聚合。基于日期类型的值，以【日期范围】来桶分聚合。期范围可以用各种 Date Math 表达式。同样的，包括 from 的值，不包括 to 的值。它属于multi-bucket。

GET /book/_search
{
  "aggs": {
    "range": {
      "date_range": {
        "field": "timestamp",
        "format": "MM-yyy",
        "ranges": [   
          {
            "to": "now-10M/M"
          },
          {
            "from": "now-10M/M"
          }
        ]
      }
    }
  }
}

Bucket聚合分析- Histogram 时间柱状聚合

直方图，以固定间隔的策略来分割数据。

你要先了解下Histogram Aggregation，直方图聚合。基于文档中的某个【数值类型】字段，通过计算来动态的分桶。它属于multi-bucket。

{
  "aggs" : {
    "prices" : {
      "histogram" : {
        "field" : "price",      //字段，必须为数值类型
        "calendar_interval" : 50,       //分桶间距
        "min_doc_count" : 1,    //最少文档数桶过滤，只有不少于这么多文档的桶才会返回
        "extended_bounds" : { //范围扩展
          "min" : 0,
          "max" : 500
        },
        "order" : { "_count" : "desc" },//对桶排序，如果 histogram 聚合有一个权值聚合类型的"直接"子聚合，那么排序可以使用子聚合中的结果
        "keyed":true, //hash结构返回，默认以数组形式返回每一个桶
        "missing":0 //配置缺省默认值
      }
    }
  }
}

GET /book/_search
{
  "aggs" : {
    "salary_hist" : {
      "histogram" : {
        "field" : "price",
        "interval" : 50,
        "min_doc_count" : 1,  
        "extended_bounds" : { 
          "min" : 0,
          "max" : 50
        },
        "order" : { "_count" : "desc" },
        "keyed":true, 
        "missing":0 
      }
    }
  }
}

Bucket聚合分析- Date Histogram

针对日期的直方图或者柱状图,是时序数据分析中常用的聚合分析类型。

Date Histogram Aggregation，日期直方图聚。基于日期类型，以【日期间隔】来桶分聚合。可用的时间间隔类型为：year、quarter、month、week、day、hour、minute、second，其中，除了year、quarter 和 month，其余可用小数形式。

GET /book/_search
{
  "aggs" : {
    "articles_over_time" : {
      "date_histogram" : {
        "field" : "timestamp",
        "calendar_interval" : "month",
        "format" : "yyyy-MM-dd",
        "time_zone": "+08:00"
      }
    }
  }
}

Missing Aggregation

Missing Aggregation，缺失值的桶聚合

GET /book/_search
{
  "aggs" : {
    "account_without_a_age" : {
      "missing" : { "field" : "name" }
    }
  }
}

IP范围聚合

IP Range Aggregation，基于一个 IPv4 字段，对文档进行【IPv4范围】的桶分聚合。和 Range Aggregation 类似，只是应用字段必须是 IPv4 数据类型。它属于multi-bucket。

GET /ip_addresses/_search
{
    "size": 10,
    "aggs" : {
        "ip_ranges" : {
            "ip_range" : {
                "field" : "ip",
                "ranges" : [
                    { "to" : "10.0.0.5" },
                    { "from" : "10.0.0.5" }
                ]
            }
        }
    }
}

bucket和metric聚合分析

Bucket聚合分析允许通过添加子分析来进一步进行分析,该子分析可以是Bucket也可以是Metric,这也使得es的聚合分析能力变得异常强大

分桶之后再分桶：

GET /book/_search
{
  "size":0,
  "aggs" : {
    "tags" : {
      "terms": { 
        "field" : "tags",
        "size": 5
      },
      "aggs" : {
        "price_range" : {
          "range": { 
            "field" : "price",
            "ranges": [
              {"to":20},
              {"from": 20,"to": 50},
              {"from": 80}
            ]
          }
        }
      }
    }
  }
}
Elasticsearch——聚合搜索_第3张图片
Elasticsearch——聚合搜索_第4张图片
image.png

分桶后进行数据分析：

GET /book/_search
{
  "size":0,
  "aggs" : {
    "tags" : {
      "terms": { 
        "field" : "tags",
        "size": 5
      },
      "aggs" : {
        "price" : {
          "stats": { 
            "field" : "price"
          }
        }
      }
    }
  }
}
Elasticsearch——聚合搜索_第5张图片

Nested Aggregation

Nested Aggregation，嵌套类型聚合。基于嵌套（nested）数据类型，把该【嵌套类型的信息】聚合到单个桶里，然后就可以对嵌套类型做进一步的聚合操作。

矩阵聚合

Matrix，矩阵聚合。此功能是实验性的，在将来的版本中可能会完全更改或删除。

它对多个字段进行操作并根据从请求的文档字段中提取的值生成矩阵结果的聚合系列。与度量聚合和桶聚合不同，此聚合系列尚不支持脚本编写。

pipeline聚合分析

Pipeline，管道聚合。它对其它聚合操作的输出（桶或者桶的某些权值）及其关联指标进行聚合，而不是文档，是一种后期对每个分桶的一些计算操作。管道聚合的作用是为输出增加一些有用信息。

管道聚合不能包含子聚合，但是某些类型的管道聚合可以链式使用（比如计算导数的导数）。

管道聚合大致分为两类：

  • parent：它输入是其【父聚合】的输出，并对其进行进一步处理。一般不生成新的桶，而是对父聚合桶信息的增强。

  • sibling：它输入是其【兄弟聚合】的输出。并能在同级上计算新的聚合。

管道聚合通过 buckets_path 参数指定他们要进行聚合计算的权值对象，bucket_path语法：

聚合分隔符：">"，指定父子聚合关系，如："my_bucket>my_stats.avg"
权值分隔符： "."，指定聚合的特定权值
聚合名称：，直接指定聚合的名称
权值：，直接指定权值
完整路径：agg_name[> agg_name]*[. metrics]，综合利用上面的方式指定完整路径
特殊值："_count"，输入的文档个数

特殊情况：

  • 要进行 pipeline aggregation 聚合的对象名称或权值名称包含小数点，"buckets_path": "my_percentile[99.9]"
  • 处理对象中包含空桶（无文档的桶分），参数 gap_policy，可选值有 skip、insert_zeros

Pipeline的分析结果会输出到原结果中,根据输出位置的不同，分为以下两类
Parent结果内嵌到现有的聚合分析结果中
* Derivative：求导导数
* Moving Average：平均
* Cumulative Sum-Sibling：累计求和

结果与现有聚合分析结果同级
* Max/Min/Avg/Sum Bucket
* Stats/Extended Stats Bucket
* Percentiles Bucket

Avg Max Min Sum：sibliing

  • Avg Bucket Aggregation，桶均值聚合。基于兄弟聚合的某个权值，求所有桶的权值均值。使用规则：用于计算的兄弟聚合必须是多桶聚合。用于计算的权值必须是数值类型。

  • Max Bucket Aggregation，桶最大值聚合。基于兄弟聚合的某个权值，输出权值最大的那一个桶。

  • Min Bucket Aggregation，桶最小值聚合。基于兄弟聚合的某个权值，输出权值最小的一个桶。

  • Sum Bucket Aggregation，桶求和聚合。基于兄弟聚合的权值，对所有桶的权值求和。

Pipeline聚合分析Sibling-Min Bucket

找出所有Bucket中值最小的Bucket名称和值：

GET /book/_search
{
  "size": 0, 
  "aggs" : {
    "tags" : {
      "terms": {
        "field" : "tags"
        
      },
      "aggs": {
        "price_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    },
    "min_price": {
      "min_bucket": {
        "buckets_path": "tags>price_avg" 
      }
    }
  }
}

Pipeline聚合分析Sibling-Max Bucket

找出所有Bucket中值最大的Bucket名称和值：

GET /book/_search
{
  "size": 0, 
  "aggs" : {
    "tags" : {
      "terms": {
        "field" : "tags"
        
      },
      "aggs": {
        "price_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    },
    "max_price": {
      "max_bucket": {
        "buckets_path": "tags>price_avg" 
      }
    }
  }
}

Pipeline聚合分析Sibling-Avg Bucket

计算所有Bucket的平均值：

GET /book/_search
{
  "size": 0, 
  "aggs" : {
    "tags" : {
      "terms": {
        "field" : "tags"
        
      },
      "aggs": {
        "price_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    },
    "avg_price": {
      "avg_bucket": {
        "buckets_path": "tags>price_avg" 
      }
    }
  }
}

Pipeline聚合分析Sibling-Sum Bucket

计算所有Bucket的值的总和：

GET /book/_search
{
  "size": 0, 
  "aggs" : {
    "tags" : {
      "terms": {
        "field" : "tags"
        
      },
      "aggs": {
        "price_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    },
    "avg_price": {
      "sum_bucket": {
        "buckets_path": "tags>price_avg" 
      }
    }
  }
}

Pipeline聚合分析Sibling-Stats Bucket

Stats Bucket Aggregation，桶统计信息聚合。基于兄弟聚合的某个权值，对【桶的信息】进行一些统计学运算（总计多少个桶、所有桶中该权值的最大值、最小等）。用于计算的权值必须是数值类型。用于计算的兄弟聚合必须是多桶聚合类型。

计算所有Bucket的值的Stats分析值：

GET /book/_search
{
  "size": 0, 
  "aggs" : {
    "tags" : {
      "terms": {
        "field" : "tags"
        
      },
      "aggs": {
        "price_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    },
    "stats_price": {
      "stats_bucket": {
        "buckets_path": "tags>price_avg" 
      }
    }
  }
}

Pipeline聚合分析Sibling-Percentiles Bucket

计算所有Bucket的值的百分位数：

GET /book/_search
{
  "size": 0, 
  "aggs" : {
    "tags" : {
      "terms": {
        "field" : "tags"
      },
      "aggs": {
        "price_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    },
    "percentiles_price": {
      "percentiles_bucket": {
        "buckets_path": "tags>price_avg" 
      }
    }
  }
}

Derivative Aggregation：parent

Derivative Aggregation，求导聚合。基于父聚合（只能是histogram或date_histogram类型）的某个权值，对权值求导。用于求导的权值必须是数值类型。封闭直方图（histogram）聚合的 min_doc_count 必须是 0。

计算Bucket值得导数：

GET /book/_search
{
  "aggs" : {
    "sales_per_month" : {
      "date_histogram" : {
        "field" : "timestamp",
        "calendar_interval" : "month"
      },
      "aggs": {
        "sum_price": {
          "sum": {
            "field": "price"
          }
        },
        "sales_deriv": {
          "derivative": {
            "buckets_path": "sum_price"  
          }
        }
      }
    }
  }
}

Moving Average Aggregation：parent

Moving Average Aggregation，窗口平均值聚合。基于已经排序过的数据，计算出处在当前出口中数据的平均值。比如窗口大小为 5 ，对数据 1—10 的部分窗口平均值如下：

  • (1 + 2 + 3 + 4 + 5) / 5 = 3
  • (2 + 3 + 4 + 5 + 6) / 5 = 4
  • (3 + 4 + 5 + 6 + 7) / 5 = 5
  • etc
GET /book/_search
{
  "size": 0,
  "aggs": {
    "my_date_histo":{
      "date_histogram":{
        "field":"timestamp",
        "calendar_interval":"1M"
      },
      "aggs":{
        "the_sum":{
          "sum":{ "field": "price" }
        },
        "the_movavg":{
          "moving_avg":{
            "buckets_path": "the_sum",
            "window" : 30,      
            "model" : "simple"
          }
        }
      }
    }
  }
}

Pipeline聚合分析Parent-Cumulative Sum

计算Bucket的值的累加和：

GET /book/_search
{
  "size": 0, 
  "aggs" : {
    "my_date_histo":{
      "date_histogram":{
        "field":"timestamp",
        "calendar_interval":"year",
        "min_doc_count": 0
      },
      "aggs": {
        "price_avg": {
          "avg": {
            "field": "price"
          }
        },
        "cumulative_sum_price": {
          "cumulative_sum": {
            "buckets_path": "price_avg" 
          }
        }
      }
    }
  }
}

作用范围

es聚合分析默认作用范围是query的结果集,可以通过如下的方式改变其作用范围:

  • filter
  • post_filter
  • global
Elasticsearch——聚合搜索_第6张图片

filter Aggregation 作用范围

Filter Aggregation，过滤聚合。基于一个条件，来对当前的文档进行过滤的聚合。

为某个聚合分析设定过滤条件，从而在不更改整体query语句的情况下修改了作用范围

GET /book/_search
{
  "size": 0, 
  "aggs": {
    "price": {
      "filter": {
        "range":{
          "price": {
            "to":50
          }
        }
      },
      "aggs": {
        "tags": {
          "terms": {
            "field": "tags"
          }
        }
      }
    }
  }
}

Filters Aggregation 作用范围

Filters Aggregation，多过滤聚合。基于多个过滤条件，来对当前文档进行【过滤】的聚合，每个过滤都包含所有满足它的文档（多个bucket中可能重复），先过滤再聚合。它属于multi-bucket。

GET /book/_search
{
  "size": 0,
  "aggs": {
    "messages": {
      "filters": { // 配置过滤条件，支持 HASH 或 数组格式
        "filters": {
          "errors": {
            "match": {
              "body": "error"
            }
          },
          "warnings": {
            "match": {
              "body": "warning"
            }
          }
        }
      }
    }
  }
}

作用范围-post_filter

作用于文档过滤,但在聚合分析后生效

GET /book/_search
{
  "size": 0, 
 "aggs": {
    "tags": {
      "terms": {
        "field": "tags"
      }
    }
  },
  "post_filter": {
    "match":{
      "tags":"java spring"
    }
  }
}

作用范围 Global aggregators

Global aggregators全局汇总：在搜索执行上下文中定义所有文档的单个存储桶。此上下文由您要搜索的索引和文档类型定义，但不受搜索查询本身的影响。

作用于文档过滤,但在聚合分析后生效

GET /book/_search
{
  "size": 0, 
  "query": {
    "match": {
      "name": "java 程序员"
    }
  },
  "aggs": {
    "avg_price": {
      "avg": {
        "field": "price"
      }
    },
    "all":{
      "global":{},
      "aggs": {
        "all_brand_avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

GET /book/_search
{
  "query": {
    "match": { "name": "java 程序员" }
  },
  "aggs": {
    "all_products": {
      "global": {}, 
      "aggs": {     
      "avg_price": { "avg": { "field": "price" } }
      }
    },
    "java 程序员": { "avg": { "field": "price" } }
  }
}

Bucket Script Aggregation：parent

Bucket Script Aggregation，桶脚本聚合。基于父聚合的【一个或多个权值】，对这些权值通过脚本进行运算。用于计算的父聚合必须是多桶聚合。用于计算的权值必须是数值类型。执行脚本必须要返回数值型结果。

Bucket Selector Aggregation：parent

Bucket Selector Aggregation，桶选择器聚合。基于父聚合的【一个或多个权值】，通过脚本对权值进行计算，并决定父聚合的哪些桶需要保留，其余的将被丢弃。用于计算的父聚合必须是多桶聚合。用于计算的权值必须是数值类型。运算的脚本必须是返回 boolean 类型，如果脚本是脚本表达式形式给出，那么允许返回数值类型。

Serial Differencing Aggregation：parent

Serial Differencing Aggregation，串行差分聚合。基于父聚合（只能是histogram或date_histogram类型）的某个权值，对权值值进行差分运算，（取时间间隔，后一刻的值减去前一刻的值：f(X) = f(Xt) – f(Xt-n)）。用于计算的父聚合必须是多桶聚合。

Extended Stats Bucket Aggregation：sibliing

Extended Stats Bucket Aggregation，扩展桶统计聚合。基于兄弟聚合的某个权值，对【桶信息】进行一系列统计学计算（比普通的统计聚合多了一些统计值）。用于计算的权值必须是数值类型。用于计算的兄弟聚合必须是多桶聚合类型。

Percentiles Bucket Aggregation：sibliing

Percentiles Bucket Aggregation，桶百分比聚合。基于兄弟聚合的某个权值，计算权值的百分比。用于计算的权值必须是数值类型。用于计算的兄弟聚合必须是多桶聚合类型。对百分比的计算是精确的（不像Percentiles Metric聚合是近似值），所以可能会消耗大量内存。

小结：ES默认给 大多数字段启用doc values，所以在一些搜索场景大大的节省了内存使用量，但是需要注意的是只有不分词的 string 类型的字段才能使用这种特性。使聚合运行在 not_analyzed 字符串而不是 analyzed 字符串，这样可以有效的利用 doc values 。

聚合分析排序

可以使用自带的关键数据进行排序，比如：

  • _count文档数
  • _key按照key值排序
Elasticsearch——聚合搜索_第7张图片
Elasticsearch——聚合搜索_第8张图片

原理与精准度问题

Min聚合得执行流程

Elasticsearch——聚合搜索_第9张图片

Terms聚合的执行流程

Elasticsearch——聚合搜索_第10张图片

Terms并不永远准确

Elasticsearch——聚合搜索_第11张图片

数据分散在多Shard上，Coordinating Node无法得悉数据全貌；所以不准确。

Terms不准确的解决办法

  • 设置Shard数为1，消除数据分散的问题，但无法承载大数据量。
  • 合理设置Shard Size大小，即每次从Shard上额外多获取数据，以提升准确度。
Elasticsearch——聚合搜索_第12张图片

Shard_Size大小的设定方法

terms聚合返回结果中有如下两个统计值:

  • doc_count_error_upper_bound被遗漏的term可能的最大值
  • sum_other_other_doc_count返回结果bucket的term外其他term的文档总数
Elasticsearch——聚合搜索_第13张图片
Elasticsearch——聚合搜索_第14张图片

设定show_term_doc_count_error可以查看每个bucket误算的最大值

Elasticsearch——聚合搜索_第15张图片
Elasticsearch——聚合搜索_第16张图片

  • Shard Size默认大小如下:

    • shard size = (size x 1.5) +10

  • 通过调整Shard Size的大小降低doc_count_error_upper_bound来提升准确度

    • 增大了整体的计算量,从而降低了响应时间

近似统计算法

Elasticsearch——聚合搜索_第17张图片

在ES的聚合分析中, Cardinality和Percentile分析使用的是近似统计算法

  • 结果是近似准确的,但不一定精准
  • 可以通过参数的调整使其结果精准,但同时也意味着更多的计算时间和更大的性能消耗

参考：
https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html

https://blog.csdn.net/alex_xfboy/article/details/86100037

https://blog.csdn.net/bingdianone/article/details/86611509

https://zhuanlan.zhihu.com/p/115362603

https://www.cnblogs.com/qdhxhz/p/11556764.html

你可能感兴趣的:(Elasticsearch——聚合搜索)

  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • Faiss Tips：高效向量搜索与聚类的利器 焦习娜Samantha
    FaissTips：高效向量搜索与聚类的利器faiss_tipsSomeusefultipsforfaiss项目地址:https://gitcode.com/gh_mirrors/fa/faiss_tips项目介绍Faiss是由FacebookAIResearch开发的一个用于高效相似性搜索和密集向量聚类的库。它支持多种硬件平台，包括CPU和GPU，能够在海量数据集上实现快速的近似最近邻搜索（AN
  • Faiss：高效相似性搜索与聚类的利器 网络·魚 大数据faiss
    Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
  • 18、架构-可观测性之聚合度量 大树~~ 架构javapython后端架构
    聚合度量聚合度量是指对系统运行时产生的各种指标数据进行收集、聚合和分析，以了解系统的健康状况和性能表现。聚合度量是可观测性的关键组成部分，通过对度量数据的分析，可以及时发现系统中的异常和瓶颈。以下是对聚合度量各个方面的详细解析，并结合具体的数据案例和技术支撑。指标收集收集系统运行时产生的各种指标数据是聚合度量的基础。常见的指标包括CPU使用率、内存使用率、请求处理时间、请求数、错误率等。以下是指标
  • 容易满足的小孩 洒在心头的阳光
    去年买的榨汁机没有用几次就坏了，前些时间答应娃儿给他买个，天天没事就问我，啥时候买，还自己淘宝上比较，加入购物车，这不前几天赶紧给他买了，省的每天叨叨在我耳边念叨着。今天终于到货了，因为他一直想和喝芒果汁，顺便买了芒果在家，放学回来兴奋的，赶紧要榨芒果汁，还特意搜索一下芒果汁的做法，我说他要是学习能有吃这般如此认真，我也就没有那么操心了。今晚喝到了芒果汁，他很开心，是阿，孩子就是这么容易满足，得到
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • 母亲节如何做小红书营销 美橙传媒
    小红书的一举一动引起了外界的高度关注。通过爆款笔记和流行话题，我们可以看到“干货”类型的内容在小红书中偏向实用的生活经验共享和生活指南非常受欢迎。根据运营社的分析，这种现象是由小红书用户心智和内容社区背后机制共同决定的。首先，小红书将使用“强搜索”逻辑为用户提供特定的“搜索场景”。在“我必须这样生活”中，大量使用了满足小红书站用户喜好和需求的内容。内容社区自制的高质量内容也吸引了寻找营销新途径的品
  • 多线程之——ExecutorCompletionService 阿福德
    在我们开发中，经常会遇到这种情况，我们起多个线程来执行，等所有的线程都执行完成后，我们需要得到个线程的执行结果来进行聚合处理。我在内部代码评审时，发现了不少这种情况。看很多同学都使用正确，但比较啰嗦，效率也不高。本文介绍一个简单处理这种情况的方法：直接上代码：publicclassExecutorCompletionServiceTest{@TestpublicvoidtestExecutorCo
  • 2024.9.6 Python，华为笔试题总结，字符串格式化，字符串操作，广度优先搜索解决公司组织绩效互评问题，无向图 RaidenQ python华为leetcode算法力扣广度优先无向图
    1.字符串格式化name="Alice"age=30formatted_string="Name:{},Age:{}".format(name,age)print(formatted_string)或者name="Alice"age=30formatted_string=f"Name:{name},Age:{age}"print(formatted_string)2.网络健康检查第一行有两个整数m
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • Java：爬虫框架 dingcho Javajava爬虫
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
  • 《 C++ 修炼全景指南：九 》打破编程瓶颈！掌握二叉搜索树的高效实现与技巧 Lenyiin C++修炼全景指南技术指南c++算法stl
    摘要本文详细探讨了二叉搜索树（BinarySearchTree,BST）的核心概念和技术细节，包括插入、查找、删除、遍历等基本操作，并结合实际代码演示了如何实现这些功能。文章深入分析了二叉搜索树的性能优势及其时间复杂度，同时介绍了前驱、后继的查找方法等高级功能。通过自定义实现的二叉搜索树类，读者能够掌握其实际应用，此外，文章还建议进一步扩展为平衡树（如AVL树、红黑树）以优化极端情况下的性能退化。
  • Table列表复现框实现【勾选-搜索-再勾选】 ～四时春～ java开发语言elementuivue
    Table列表复现框实现【勾选-搜索-再勾选】概要整体架构流程代码实现技术细节注意参考文献概要最近在开发时遇到一个问题，在进行表单渲染时，正常选中没有问题，单如果需要搜索选中时，一个是已选中的不会回填，二是在搜索的结果中进行选中，没有实现，经过排查，查找资料后实现。例如：整体架构流程具体的实现效果如下：代码实现{{scope.row.userName}}已选区{{userItem.userName
  • 《 C++ 修炼全景指南：十 》自平衡的艺术：深入了解 AVL 树的核心原理与实现 Lenyiin C++修炼全景指南技术指南c++数据结构stl
    摘要本文深入探讨了AVL树（自平衡二叉搜索树）的概念、特点以及实现细节。我们首先介绍了AVL树的基本原理，并详细分析了其四种旋转操作，包括左旋、右旋、左右双旋和右左双旋，阐述了它们在保持树平衡中的重要作用。接着，本文从头到尾详细描述了AVL树的插入、删除和查找操作，配合完整的代码实现和详尽的注释，使读者能够全面理解这些操作的执行过程。此外，我们还提供了AVL树的遍历方法，包括中序、前序和后序遍历，
  • 2024春节微信红包封面序列号大全一览 帮忙赚赏金
    2024微信红包封面序列号哪里领取红包封面领取微信搜索公众号：【艺间封面】千万红包封面等你领取2024微信红包封面免费序列号如何设置微信红包封面？1.打开微信，点击好友选择红包。2.单击红包封面。3.单击“添加红包封面”。4.输入接收序列号。来一波免费的微信红包封面序列号微信红包封面序列号红包封面领取微信搜索公众号：艺间封面千万红包封面等你领取微信红包封面序列号kGnkrbw5a7N微信红包封面序
  • 天猫返利网哪个最好?天猫返利网站有哪些? 优惠券高省
    关于哪个返利网站好用，今天汐儿给大家介绍以下十大网站，可以作为参考：1、高省网【高省APP】（邀请码：668666）全网佣金最高。手机应用商店搜索“高省”即可免费下载安装，填写高省邀请码：668666，直升2皇冠，享更高佣金及分红奖励。高省APP全网佣金最高，手机应用商店搜索“高省”即可下载，高省邀请码：668666，此码注册，直升2皇冠，佣金更高！送万元推广大礼包，教你如何1年做到百万团队。其实
  • 粒子群优化 (PSO) 在三维正弦波函数中的应用 subject625Ruben 机器学习人工智能matlab算法
    在这篇博客中，我们将展示如何使用粒子群优化（PSO）算法求解三维正弦波函数，并通过增加正弦波扰动，使优化过程更加复杂和有趣。本文将介绍目标函数的定义、PSO参数设置以及算法执行的详细过程，并展示搜索空间中的动态过程和收敛曲线。1.目标函数定义我们使用的目标函数是一个三维正弦波函数，定义如下：objectiveFunc=@(x)sin(sqrt(x(1).^2+x(2).^2))+0.5*sin(5
  • ChatGPT 高效学习套路揭秘：让知识获取事半功倍的秘诀 kkai人工智能 chatgpt人工智能学习媒体ai
    最近这段时间，AI热潮因ChatGPT的火爆再次掀起。如今，网上大部分内容都在调侃AI，但很少有人探讨如何正经使用ChatGPT做事情。作为一名靠搜索引擎和GitHub自学编程的开发者，第一次和ChatGPT深度交流后，我就确信：ChatGPT能够极大提高程序员学习新技术的效率。使用ChatGPT一个月后，我越发感受到它的颠覆性。因此，我想从工作和学习的角度，分享它的优势及我的一些使用技巧，而非娱
  • 如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
    在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
  • 02-Cesium聚合分析EntityCluster完整代码 fxshy htmlcssjavascript
    1.完整代码Document-->-->Cesium.Ion.defaultAccessToken='eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJqdGkiOiJhZjZkZDAwZC1mNTFhLTRhOTEtOGExNi00MzRhNGIzMDdlNDQiLCJpZCI6MTA1MTUzLCJpYXQiOjE2NjA4MDg0Njd9.qajeJtc4-kp
  • HarmonyOS开发实战（ Beta5.0）搜索框热搜词自动切换 让开，我要吃人了 OpenHarmonyHarmonyOS鸿蒙开发harmonyos华为鸿蒙移动开发鸿蒙系统前端开发语言
    鸿蒙HarmonyOS开发往期必看：HarmonyOSNEXT应用开发性能实践总结最新版！“非常详细的”鸿蒙HarmonyOSNext应用开发学习路线！（从零基础入门到精通）介绍本示例介绍使用TextInput组件与Swiper组件实现搜索框内热搜词自动切换。效果图预览使用说明页面顶部搜索框内热搜词条自动切换，编辑搜索框时自动隐藏。实现思路使用TextInput实现搜索框TextInput({te
  • leetcode刷题day19|二叉树Part07（235. 二叉搜索树的最近公共祖先、701.二叉搜索树中的插入操作、450.删除二叉搜索树中的节点） 小冉在学习 leetcode算法数据结构
    235.二叉搜索树的最近公共祖先思路：二叉搜索树首先考虑中序遍历。根据二叉搜索树的特性，如果p,q分别在中间节点的左右两边，该中间节点一定是最近公共祖先，如果在同一侧，则递归这一侧即可。递归三部曲：1、传入参数：根节点，p，q，返回节点。2、终止条件：因为p,q一定存在，所以不会遍历到树的最底层，因此可以不写终止条件3、递归逻辑：如果p,q均小于root的值，递归调用左子树；如果p,q均大于roo
  • 【大模型应用开发 动手做AI Agent】第一轮行动：工具执行搜索 AI大模型应用之禅 计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    【大模型应用开发动手做AIAgent】第一轮行动：工具执行搜索作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着人工智能技术的飞速发展，大模型应用开发已经成为当下热门的研究方向。AIAgent作为人工智能领域的一个重要分支，旨在模拟人类智能行为，实现智能决策和自主行动。在AIAgent的构建过程中，工具执行搜索是至关重要
  • 高性能javascript--算法和流程控制 海淀萌狗
    -for,while和do-while性能相当-避免使用for-in循环，==除非遍历一个属性量未知的对象==es5:for-in遍历的对象便不局限于数组，还可以遍历对象。原因：for-in每次迭代操作会同时搜索实例或者原型属性，for-in循环的每次迭代都会产生更多开销，因此要比其他循环类型慢，一般速度为其他类型循环的1/7。因此，除非明确需要迭代一个属性数量未知的对象，否则应避免使用for-i
  • 阿里巴巴商品搜索API返回值实战解析 weixin_43841111 apijava前端javascript
    在解析阿里巴巴中国站商品搜索API返回值并进行实战时，可以从以下几个方面入手：一、了解API返回值的结构基本信息返回值通常包含商品的标题、价格、库存、图片链接等基本信息。这些信息对于了解商品的概况非常重要。例如，商品标题可以让你快速了解商品的名称和特点，价格信息可以帮助你进行价格比较和成本核算。详细描述可能包括商品的详细描述、规格参数、使用方法等。这些信息对于深入了解商品的特性和功能非常有帮助。比
  • 果冻宝盒官方app邀请码有哪些一览(附邀请码填写指南)省钱又开心！ 小小编007
    果冻宝盒是一款备受瞩目的社交电商软件，其独特的邀请机制和丰富的奖励制度吸引了大量用户。在使用果冻宝盒的过程中，填写正确的邀请码是获取奖励的重要步骤之一。本文将为您详细介绍果冻宝盒官方app的邀请码有哪些，以及如何正确填写邀请码，帮助您更好地参与果冻宝盒的社交电商生态。果冻宝盒直升金牌总裁（最高返利）注册教程：1各大应用市场搜索【果冻宝盒】并下载安装2注册果冻宝盒，根据提示填写邀请码：2233773
  • 2022-04-25 L是木子李呢
    上门维修APP开发应具备哪些功能随着移动互联网的不断发展，上门维修在我们生活中已经是非常普遍的存在了，为了给用户更方便的找到上门维修的渠道，上门维修APP应运而生，那么上门维修APP开发应具备哪些功能呢？1、维修门店搜索为了更好地方便用户省时省力，上门维修APP会依据用户定位信息搜索线下实体店，促使用户更好的找到线下维修店面，省时又省力。2、维修服务分类包括管道洁具维修、强电弱电维修、木工维修、粉
  • ElasticSearch查询超过10000条（1000页）时出现Result window is too large的问题 王月亮17
    问题当ES数据量较大，使用分页查询超过10000条（1000页）时，出现如下错误：Cannotexecutejestaction,responsecode:500,error:{"root_cause":[{"type":"query_phase_execution_exception","reason":"Resultwindowistoolarge,from+sizemustbelesstha
  • HQL之投影查询 归来朝歌 HQLHibernate查询语句投影查询
            在HQL查询中，常常面临这样一个场景，对于多表查询，是要将一个表的对象查出来还是要只需要每个表中的几个字段，最后放在一起显示？ 针对上面的场景，如果需要将一个对象查出来： HQL语句写“from 对象”即可 Session session = HibernateUtil.openSession();
  • Spring整合redis bylijinnan redis
    pom.xml <dependencies> <!-- Spring Data - Redis Library --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redi
  • org.hibernate.NonUniqueResultException: query did not return a unique result: 2 0624chenhong Hibernate
    参考：http://blog.csdn.net/qingfeilee/article/details/7052736 org.hibernate.NonUniqueResultException: query did not return a unique result: 2         在项目中出现了org.hiber
  • android动画效果 不懂事的小屁孩 android动画
    前几天弄alertdialog和popupwindow的时候，用到了android的动画效果，今天专门研究了一下关于android的动画效果，列出来，方便以后使用。 Android 平台提供了两类动画。 一类是Tween动画，就是对场景里的对象不断的进行图像变化来产生动画效果（旋转、平移、放缩和渐变）。 第二类就是 Frame动画，即顺序的播放事先做好的图像，与gif图片原理类似。
  • js delete 删除机理以及它的内存泄露问题的解决方案 换个号韩国红果果 JavaScript
    delete删除属性时只是解除了属性与对象的绑定，故当属性值为一个对象时，删除时会造成内存泄露  （其实还未删除） 举例： var person={name:{firstname:'bob'}} var p=person.name delete person.name p.firstname -->'bob' // 依然可以访问p.firstname，存在内存泄露
  • Oracle将零干预分析加入网络即服务计划 蓝儿唯美 oracle
    由Oracle通信技术部门主导的演示项目并没有在本月较早前法国南斯举行的行业集团TM论坛大会中获得嘉奖。但是，Oracle通信官员解雇致力于打造一个支持零干预分配和编制功能的网络即服务（NaaS）平台，帮助企业以更灵活和更适合云的方式实现通信服务提供商（CSP）的连接产品。这个Oracle主导的项目属于TM Forum Live!活动上展示的Catalyst计划的19个项目之一。Catalyst计
  • spring学习——springmvc（二） a-john springMVC
    Spring MVC提供了非常方便的文件上传功能。 1，配置Spring支持文件上传： DispatcherServlet本身并不知道如何处理multipart的表单数据，需要一个multipart解析器把POST请求的multipart数据中抽取出来，这样DispatcherServlet就能将其传递给我们的控制器了。为了在Spring中注册multipart解析器，需要声明一个实现了Mul
  • POJ-2828-Buy Tickets aijuans ACM_POJ
    POJ-2828-Buy Tickets http://poj.org/problem?id=2828 线段树，逆序插入 #include<iostream>#include<cstdio>#include<cstring>#include<cstdlib>using namespace std;#define N 200010struct
  • Java Ant build.xml详解 asia007 build.xml
    1,什么是antant是构建工具2,什么是构建概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个3,ant的好处跨平台   --因为ant是使用java实现的，所以它跨平台使用简单--与ant的兄弟make比起来语法清晰--同样是和make相比功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有
  • android按钮监听器的四种技术 百合不是茶 androidxml配置监听器实现接口
    android开发中经常会用到各种各样的监听器,android监听器的写法与java又有不同的地方;    1,activity中使用内部类实现接口 ,创建内部类实例  使用add方法  与java类似   创建监听器的实例 myLis lis = new myLis();   使用add方法给按钮添加监听器  
  • 软件架构师不等同于资深程序员 bijian1013 程序员架构师架构设计
            本文的作者Armel Nene是ETAPIX Global公司的首席架构师，他居住在伦敦，他参与过的开源项目包括 Apache Lucene,，Apache Nutch， Liferay 和 Pentaho等。         如今很多的公司
  • TeamForge Wiki Syntax & CollabNet User Information Center sunjing TeamForgeHow doAttachementAnchorWiki Syntax
    the CollabNet user information center http://help.collab.net/   How do I create a new Wiki page? A CollabNet TeamForge project can have any number of Wiki pages. All Wiki pages are linked, and
  • 【Redis四】Redis数据类型 bit1129 redis
    概述 Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。 Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即string
  • SSH2整合-附源码 白糖_ eclipsespringtomcatHibernateGoogle
    今天用eclipse终于整合出了struts2+hibernate+spring框架。 我创建的是tomcat项目，需要有tomcat插件。导入项目以后，鼠标右键选择属性，然后再找到“tomcat”项，勾选一下“Is a tomcat project”即可。具体方法见源码里的jsp图片，sql也在源码里。     补充1：项目中部分jar包不是最新版的，可能导
  • [转]开源项目代码的学习方法 braveCS 学习方法
    转自： http://blog.sina.com.cn/s/blog_693458530100lk5m.html http://www.cnblogs.com/west-link/archive/2011/06/07/2074466.html   1）阅读features。以此来搞清楚该项目有哪些特性2）思考。想想如果自己来做有这些features的项目该如何构架3）下载并安装d
  • 编程之美-子数组的最大和（二维） bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; import java.util.Random; public class MaxSubArraySum2 { /** * 编程之美 子数组之和的最大值（二维） */ private static final int ROW = 5; private stat
  • 读书笔记-3 chengxuyuancsdn jquery笔记resultMap配置ibatis一对多配置
    1、resultMap配置 2、ibatis一对多配置 3、jquery笔记 1、resultMap配置 当<select resultMap="topic_data"> <resultMap id="topic_data">必须一一对应。 (1)<resultMap class="tblTopic&q
  • [物理与天文]物理学新进展 comsci
          如果我们必须获得某种地球上没有的矿石,才能够进行某些能量输出装置的设计和建造,而要获得这种矿石,又必须首先进行深空探测,而要进行深空探测,又必须获得这种能量输出装置,这个矛盾的循环,会导致地球联盟在与宇宙文明建立关系的时候,陷入困境       怎么办呢?  
  • Oracle 11g新特性:Automatic Diagnostic Repository daizj oracleADR
    Oracle Database 11g的FDI（Fault Diagnosability Infrastructure）是自动化诊断方面的又一增强。 FDI的一个关键组件是自动诊断库（Automatic Diagnostic Repository-ADR）。 在oracle 11g中，alert文件的信息是以xml的文件格式存在的，另外提供了普通文本格式的alert文件。 这两份log文
  • 简单排序:选择排序 dieslrae 选择排序
    public void selectSort(int[] array){ int select; for(int i=0;i<array.length;i++){ select = i; for(int k=i+1;k<array.leng
  • C语言学习六指针的经典程序，互换两个数字 dcj3sjt126com c
    示例程序，swap_1和swap_2都是错误的，推理从1开始推到2，2没完成，推到3就完成了 # include <stdio.h> void swap_1(int, int); void swap_2(int *, int *); void swap_3(int *, int *); int main(void) { int a = 3; int b =
  • php 5.4中php-fpm 的重启、终止操作命令 dcj3sjt126com PHP
    php 5.4中php-fpm 的重启、终止操作命令: 查看php运行目录命令：which php/usr/bin/php 查看php-fpm进程数：ps aux | grep -c php-fpm 查看运行内存/usr/bin/php  -i|grep mem 重启php-fpm/etc/init.d/php-fpm restart 在phpinfo()输出内容可以看到php
  • 线程同步工具类 shuizhaosi888 同步工具类
    同步工具类包括信号量（Semaphore）、栅栏（barrier）、闭锁（CountDownLatch）   闭锁（CountDownLatch） public class RunMain { public long timeTasks(int nThreads, final Runnable task) throws InterruptedException { fin
  • bleeding edge是什么意思 haojinghua DI
    不止一次，看到很多讲技术的文章里面出现过这个词语。今天终于弄懂了——通过朋友给的浏览软件，上了wiki。  我再一次感到，没有辞典能像WiKi一样，给出这样体贴人心、一清二楚的解释了。为了表达我对WiKi的喜爱，只好在此一一中英对照，给大家上次课。   In computer science, bleeding edge is a term that
  • c中实现utf8和gbk的互转 jimmee ciconvutf8&gbk编码
    #include <iconv.h> #include <stdlib.h> #include <stdio.h> #include <unistd.h> #include <fcntl.h> #include <string.h> #include <sys/stat.h> int code_c
  • 大型分布式网站架构设计与实践 lilin530 应用服务器搜索引擎
    1.大型网站软件系统的特点？ a.高并发，大流量。 b.高可用。 c.海量数据。 d.用户分布广泛，网络情况复杂。 e.安全环境恶劣。 f.需求快速变更，发布频繁。 g.渐进式发展。 2.大型网站架构演化发展历程？ a.初始阶段的网站架构。 应用程序，数据库，文件等所有的资源都在一台服务器上。 b.应用服务器和数据服务器分离。 c.使用缓存改善网站性能。 d.使用应用
  • 在代码中获取Android theme中的attr属性值 OliveExcel androidtheme
    Android的Theme是由各种attr组合而成, 每个attr对应了这个属性的一个引用, 这个引用又可以是各种东西.   在某些情况下, 我们需要获取非自定义的主题下某个属性的内容 (比如拿到系统默认的配色colorAccent), 操作方式举例一则: int defaultColor = 0xFF000000; int[] attrsArray = { andorid.r.
  • 基于Zookeeper的分布式共享锁 roadrunners zookeeper分布式共享锁
    首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。   共享锁在同一个进程中是很容易实现的，但在跨进程或者在不同Server之间就不好实现了。Zookeeper就很容易实现。具体的实现原理官网和其它网站也有翻译，这里就不在赘述了。   官
  • 两个容易被忽略的MySQL知识 tomcat_oracle mysql
    1、varchar(5)可以存储多少个汉字，多少个字母数字？ 　　相信有好多人应该跟我一样，对这个已经很熟悉了，根据经验我们能很快的做出决定，比如说用varchar(200)去存储url等等，但是，即使你用了很多次也很熟悉了，也有可能对上面的问题做出错误的回答。 　　这个问题我查了好多资料，有的人说是可以存储5个字符，2.5个汉字（每个汉字占用两个字节的话），有的人说这个要区分版本，5.0
  • zoj 3827 Information Entropy(水题) 阿尔萨斯 format
    题目链接：zoj 3827 Information Entropy 题目大意：三种底，计算和。 解题思路：调用库函数就可以直接算了，不过要注意Pi = 0的时候，不过它题目里居然也讲了。。。limp→0+plogb(p)=0，因为p是logp的高阶。 #include <cstdio> #include <cstring> #include <cmath&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他