之前我已经使用docker安装好elasticsearch服务，并安装好ik中文分词器：docker-compose搭建ES和Kibana环境，并安装IK中文分词插件，所有以下操作都是基于elasticsearch 7.3版本。相关文档：【elasticsearch 7.3 reference】
在ES的使用过程中，数据建模是非常重要的。如果只是使用默认的mappings，是很难满足实际业务需求的，查询出来的结果肯定是不符合实际业务的。所以我们需要结合ES原理和实际业务需求，对数据结构进行建模。
例1:电商推广数据结构
{
"id": 536600477,
"name": "黑色外穿打底裤女春秋薄款铅笔裤2019新款高腰九分显瘦紧身小脚裤",
"image": "http://img.alicdn.com/bao/uploaded/i4/1687728515/O1CN015vKRk22Clv2z9jVKM_!!0-item_pic.jpg",
"item_url": "http://item.taobao.com/item.htm?id=536600477798",
"shop_name": "XXX旗舰店",
"price": 35.00,
"sales": 12866,
"contact_info": "XXX旗舰店",
"short_url": "https://s.click.taobao.com/6dhjX0w",
"sales_url": "https://s.click.taobao.com/t?e=m%3D2%26s%3DhqNnFErxaS0cQipKwQzePOeEDrYVVa64K7Vc7tFgwiG3bLqV5UHdqSJ215tW5ra7%2Fl0%2B1yuzCtL9CVjm9%2FaTIMEcIrQjme5phH%2FwEhdaGdpwfW9VvJkbiUOLibAxXu8J4DrzI0Q%2Bh5mWydDa%2BK5%2FZ44CXhN9RDLu87eUjW4Ylwlp3E7b2H5imSCyCj9paIOIxiXvDf8DaRs%3D",
"sales_pass": "￥q6vvYNlY15Y￥",
"coupon_total_num": 50000,
"coupon_remaining_num": 49981,
"coupon_quota": "满35减10",
"coupon_start_date": "2019-09-20",
"coupon_end_date": "2019-09-25",
"coupon_url": "https://uland.taobao.com/coupon/edetail?e=EpEKjA4ejsRt3vqbdXnGlgxMgopp14njlHycenxkSuDwJfMHI%2FfVmw2KFrzHTGtgHv69%2F64THFCtOwU1ltpiC5ZrJ2LltVbgH31ZeQAUzbQ%3D&af=1&pid=mm_226490165_153450382_44990650090",
"coupon_pass": "￥b0NmYNlbC8t￥",
"coupon_short_url": "https://s.click.taobao.com/XRkjX0w"
}
通过上面的数据结构，我们可以得出以下结论：
"id"是整型，可以设置类型为"integer"或"long"
"name"是字符串类型，需要作为查询条件，并且需要分词。类型要指定为"text"，指定中文分词器"ik_max_word"，搜索的时候指定"ik_smart"分词器。ps："text"类型数据会被分词，"keyword"类型不会被分词。
"image"作为一个商品的图片链接，用作展示商品，是不需要作为搜索条件的，所以不需要建立索引，也不需要做聚合分析，直接设置"enabled": false。其他类似需求的字段也和"image"一样设置
"item_url"也和"image"一样。
"shop_name"是需要作为查询条件，但是因为每个店铺的名字并不规范，ik自带的词库并不能满足分词的要求，所以给出以下两种建议：
1.将shop_name的值加入分词库，并指定中文分词器"ik_max_word"。查询的时候使用"ik_smart"分词并查询。
ps:关于如何添加自定义分词,可查看 如何添加自定义分词
2.对shop_name的值不分词，类型指定为"keyword"。查询的时候使用"term query"。
"price"是商品价格，类型设置为"double"。
"sales"是销量，类型设置为"integer"。
"contact_info"是联系方式，不需要分词，直接设置"keyword"。
"short_url"是商品推广的短链接，不需要分词。
"sales_url"是商品推广的链接，不需要分词。
**"sales_pass"是商品推广口令，不需要分词，直接设置"keyword"。
"coupon_total_num"是优惠券总数量，设置为"integer"。
"coupon_remaining_num"是优惠券剩余量，设置为"integer"。
"coupon_quota"是优惠券额度，设置为"keyword"。
"coupon_start_date"是优惠券开始日期，设置为"date"日期类型，"format"为"yyyy-MM-dd"。
"coupon_end_date"是优惠券结束日期，设置为"date"日期类型，"format"为"yyyy-MM-dd"。
"coupon_url"是优惠券链接。
"coupon_pass"是优惠券推广口令，不需要分词，直接设置"keyword"。
"coupon_short_url"是优惠券短链接。
根据上述分析，最终得出：
PUT item_index
{
"mappings": {
"dynamic": false,
"properties": {
"id": {
"type": "long"
},
"name": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
},
"image": {
"enabled": false
},
"item_url": {
"enabled": false
},
"shop_name": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart",
"fields": {
"keyword": {
"type": "keyword"
}
}
},
"price": {
"type": "double"
},
"sales": {
"type": "integer"
},
"contact_info": {
"type": "keyword"
},
"short_url": {
"enabled": false
},
"sales_url": {
"enabled": false
},
"sales_pass": {
"type": "keyword"
},
"coupon_total_num": {
"type": "integer"
},
"coupon_remaining_num": {
"type": "integer"
},
"coupon_quota": {
"type": "keyword"
},
"coupon_start_date": {
"type": "date",
"format": "yyyy-MM-dd"
},
"coupon_end_date": {
"type": "date",
"format": "yyyy-MM-dd"
},
"coupon_url": {
"enabled": false
},
"coupon_pass": {
"type": "keyword"
},
"coupon_short_url": {
"enabled": false
},
}
}
}
例2:服务器日志数据结构
222.67.85.228 - - [14/Nov/2018:14:30:34 +0800] "GET /search?keyword=&hasCoupon=0&pageNum=1&pageSize=100 HTTP/1.1" 200 12268 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_131)" "-"
通过日志格式化，将nginx日志转换成以下数据结构：
{
"ip": "222.67.85.228",
"username": "-",
"time": "2018-11-14 14:30:34",
"request_action": "GET",
"request_url": "/search?keyword=&hasCoupon=0&pageNum=1&pageSize=100",
"http_version": "1.1",
"response_status": 200,
"byte": 12268,
"referrer": "-",
"agent": "Apache-HttpClient/4.5.5 (Java/1.8.0_131)",
"http_forward": "-"
}
一般查看日志按照时间和响应状态这两个维度作为查询条件。比如说，需要查询从2019年01月01日至今为止的响应状态为500的请求。整个日志字段基本不需要做分词处理，基本都是做一个展示，字符串数据基本就是"keyword"类型，日期类型注意格式化。
PUT nginx_log_index
{
"mappings": {
"dynamic": false,
"properties": {
"ip": {
"type": "keyword"
},
"username": {
"type": "keyword"
},
"time": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss"
},
"request_action": {
"type": "keyword"
},
"request_url": {
"enabled": false
},
"http_version": {
"type": "keyword"
},
"response_status": {
"type": "integer"
},
"bytes": {
"type": "long"
},
"referrer": {
"type": "keyword"
},
"agent": {
"type": "keyword"
},
"http_forward": {
"type": "keyword"
}
}
}
}
例3:博客数据结构
{
"id": "89546eff3cd0",
"url": "https://www.jianshu.com/p/89546eff3cd0",
"title": "简单剖析代理模式实现原理",
"author": "梦想实现家_Z",
"content": "代理模式在java中随处可见，其他编程语言也一样，它的作用就是用来解耦的。代理模式又分为静态代理和动态代理。......省略剩下的内容",
"time": "2019.04.10 21:08:21",
"word_num": 1056,
"read_num": 161,
"like_num": 1,
"reward_num": 0
}
因为博客内容过大，为避免每次查询的结果都要带上庞大的博客内容，建议将每个字段分开存储，查询的时候按需展示。所以建议"_source"设置为"enabled": false，但是需要针对每个字段单独设置 "store": true
PUT blog_index
{
"mappings": {
"dynamic": false,
"_source": {
"enabled": false
},
"properties": {
"id": {
"type": "keyword",
"store": true,
},
"url": {
"type": "keyword",
"store": true,
"ignore_above": 100,
"doc_values": false,
"norms": false,
},
"title": {
"type": "text",
"store": true,
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart",
"fields": {
"keyword": {
"type": "keyword"
}
}
},
"author": {
"type": "keyword",
"store": true,
},
"content": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart",
"store": true
},
"time": {
"type": "text",
"format": "yyyy.MM.dd HH:mm:ss",
"store": true
},
"word_num": {
"type": "integer",
"store": true
},
"read_num": {
"type": "integer",
"store": true
},
"like_num": {
"type": "integer",
"store": true
},
"reward_num": {
"type": "integer",
"store": true
}
}
}
}
小伙伴们可以根据自己对ES的了解和实际业务分析，对以上例子进行进一步优化。