ElasticSearch - 映射(mapping)
官方文档
一、数据类型
1、核心数据类型
- string 字符串
| 字符类型 | 说明 |
|---|---|
| text | ⽤于全⽂索引，搜索时会自动使用分词器进⾏分词再匹配。字段内容会被分析，在生成倒排索引以前，字符串会被分析器分成一个一个词项 |
| keyword | 不分词，搜索时需要匹配完整的值 |
- numberic 数值
| 整数类型 | 说明 （1byte(字节)=8bit(位、比特)） |
|---|---|
| byte | （1字节）-128 到127（- 2^7 到 2^7– 1） |
| short | （2字节）-32,768到32,767 （- 2^15 到 2^15– 1） |
| integer | （4字节）-2,147,483,648到2,147,483,647 （- 2^31 到 2^31– 1） |
| long | （8字节）（- 2^63 到 2^63– 1） |
| 浮点类型 | 说明 |
|---|---|
| float | 32位单精度IEEE 754浮点类型 |
| double | 64位双精度IEEE 754浮点类型 |
| half_float | 16位半精度IEEE 754浮点类型 |
| scaled_float | 缩放类型的的浮点数（比如价格只需要精确到分，price为57.34的字段缩放因子为100，存起来就是5734） |
- 日期类型
| 类型 | 说明 |
|---|---|
| date | date类型支持到毫秒 参考 |
| date_nanos | date类型支持到纳秒 参考 |
- Boolean
| 类型 | 说明 |
|---|---|
| boolean | true/false |
- binary 二进制
| 类型 | 说明 |
|---|---|
| binary | 该binary类型接受二进制值作为 Base64编码的字符串 |
- range 范围
| 范围类型 | 说明 |
|---|---|
| integer_range | 一个带符号的32位整数范围，最小值为，最大值为。 -2^31到 2^31-1 |
| float_range | 一系列单精度32位IEEE 754浮点值 |
| long_range | 一系列带符号的64位整数，最小值为，最大值为。 -2^63 到 2^63-1 |
| double_range | 一系列双精度64位IEEE 754浮点值 |
| date_range | 自系统时代以来经过的一系列日期值，表示为无符号的64位整数毫秒 |
| ip_range | 支持IPv4或 IPv6（或混合）地址的一系列ip值 |
2、复杂数据类型
- object 对象
| 对象类型 | 说明 |
|---|---|
| object | 对象，用于单个JSON对象 |
由于 JSON 本身具有层级关系，所以文档包含内部对象。内部对象中，还可以再包含内部对象。
PUT product/_doc/2
{
"date":"2020-11-11T11:11:11Z",
"ext_info":{
"address":"China"
}
}
- nested 嵌套
| 对象类型 | 说明 |
|---|---|
| array | 嵌套JSON对象数组 参考 |
nested 是 object 中的一个特例。
如果使用 object 类型，假如有如下一个文档：
{
"user":[
{
"first":"Zhang",
"last":"san"
},
{
"first":"Li",
"last":"si"
}
]
}
由于 Lucene 没有内部对象的概念，所以 es 会将对象层次扁平化，将一个对象转为字段名和值构成的简单列表。即上面的文档，最终存储形式如下：
{
"user.first":["Zhang","Li"],
"user.last":["san","si"]
}
扁平化之后，用户名之间的关系没了。这样会导致如果搜索 Zhang si 这个人，会搜索到。
此时可以 nested 类型来解决问题，nested 对象类型可以保持数组中每个对象的独立性。nested 类型将数组中的每一对象作为独立隐藏文档来索引，这样每一个嵌套对象都可以独立被索引。
{
{
"user.first":"Zhang",
"user.last":"san"
},{
"user.first":"Li",
"user.last":"si"
}
}
3、地图数据类型
- Geo-point 地理位置数据（纬度-经度）
| 地理位置数据类型 | 说明 |
|---|---|
| geo_point | geo_point为纬度/经度点 参考 |
- Geo-shape 地理形状数据类型
| 地理形状数据类型 | 说明 |
|---|---|
| geo_shape | geo_shape支持存储的常用形状数据有：点（point）圆形（circle）矩形（envelope）多边形 （polygon） 参考 |
4、专用的数据类型
| 专用的数据类型 | 说明 |
|---|---|
| ip | ip用于IPv4和IPv6地址 |
| Completion data type | 提供自动完成建议 |
| Token count | 计算字符串中令牌的数量 |
| mapper-murmur3 | 在索引时计算值的哈希并将其存储在索引中 |
| mapper-annotated-text | annotated-text 索引包含特殊标记的文本（通常用于标识命名实体） |
| Percolator | 接受来自query-dsl的查询 |
| Join | 为同一索引内的文档定义父/子关系 |
| Rank feature | 记录数字功能以提高查询时的点击率 |
| Rank features | 记录数字功能以提高查询时的点击率 |
| Dense vector | 记录浮点值的密集向量 |
| Sparse vector | 记录浮点值的稀疏向量 |
| Search-as-you-type | 针对查询进行优化的类文本字段，以实现按需输入完成 |
| Alias | 为现有字段定义别名。 |
| Flattened | Allows an entire JSON object to be indexed as a single field |
| Shape | shape 对于任意笛卡尔几何 |
| Histogram | histogram 用于百分位数聚合的预聚合数值。 |
| Constant keyword | keyword当所有文档具有相同值时的情况的 专业化。 |
二、映射（Mapping）
Mapping 类似于数据库中的表结构定义 schema
1、动态映射（Dynamic Mapping）
Dynamic Mapping 机制使我们不需要手动定义 Mapping，ES 类型的自动识别是基于 JSON 的格式，如果输入的是 JSON 是字符串且格式为日期格式，ES 会自动设置成 Date 类型；当输入的字符串是数字的时候，ES 默认会当成字符串来处理，可以通过设置来转换成合适的类型；如果输入的是 Text 字段的时候，ES 会自动增加 keyword 子字段，还有一些自动识别如下图所示：
当我们在创建一个索引的时候，可以对 dynamic 进行设置，可以设成 false、true 或者 strict。
- true：遇到陌生字段，就进行dynamic mapping
- false：遇到陌生字段，就忽略
- strict：遇到陌生字段，就报错
PUT /my_index
{
"mappings": {
"dynamic": "strict", #设置了strict，添加字段报错
"properties": {
"title": {
"type": "text"
},
"address": {
"type": "object",
"dynamic": "true" #设置为true可以添加字段
}
}
}
}
PUT /my_index/_doc/1
{
"title": "my article",
"content": "this is my article", #添加新的字段
"address": {
"province": "guangdong",
"city": "guangzhou" #添加新的字段
}
}
#报错，content字段无法新增
{
"error": {
"root_cause": [
{
"type": "strict_dynamic_mapping_exception",
"reason": "mapping set to strict, dynamic introduction of [content] within [_doc] is not allowed"
}
],
"type": "strict_dynamic_mapping_exception",
"reason": "mapping set to strict, dynamic introduction of [content] within [_doc] is not allowed"
},
"status": 400
}
#成功，city、province字段可以新增
PUT /my_index/_doc/1
{
"title": "my article",
"address": {
"province": "guangdong",
"city": "guangzhou" #添加新的字段
}
}
#最后的映射
GET /my_index/_mapping
#返回数据
{
"my_index" : {
"mappings" : {
"dynamic" : "strict",
"properties" : {
"address" : {
"dynamic" : "true",
"properties" : {
"city" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"province" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
}
}
},
"title" : {
"type" : "text"
}
}
}
}
}
2、手动创建映射
ES 自动根据文档信息来判断字段合适的类型时，有时候也会推算的不对，比如地理位置信息有可能会判断为 Text，当类型如果设置不对时，会导致一些功能无法正常工作，比如 Range 查询，所以我们可以手动创建映射。
可以在需要在创建索引的时候先指定映射，这样就可以就可以避免自动创建映射导致字段类型不正确。
示例：
PUT /my_index
{
"mappings": {
"properties": {
"user": {
"properties": {
"title": {
"type": "text"
},
"name": {
"type": "text"
},
"age": {
"type": "integer"
}
}
},
"blogpost": {
"properties": {
"title": {
"type": "text"
},
"body": {
"type": "text"
},
"user_id": {
"type": "keyword"
},
"created": {
"type": "date",
"format": "strict_date_optional_time||epoch_millis"
}
}
}
}
}
}