Elasticsearch之插件Ik分词器详细测试
Elasticsearch之插件Ik分词器详细测试
elasticsearch版本：6.7.2
这里主要测试三种分词器：Ik（ik_smart 、 ik_max_word）,standard（es自带的）
先看三种分词器分词效果：
 |
 |
|---|---|
 |
 |
 |
 |
可以看出 ik_smar ：智能中文语法拆分 | ik_max_word ：中文语法详细拆分 | standard：逐字拆分
然后创建索引，捏造数据开始测试：
创建索引：
PUT ik2_index #索引名字
{
"mappings": { #映射集
"userInfo": { #类型
"properties": { #参数集
"name": { #该类型中的第一个字段
"type": "text", #该字段的类型，就是String类型
"index": true, #是否创建索引
"analyzer": "ik_max_word", #使用这种分词器创建索引
"search_analyzer": "ik_smart" #指定查询字段的分词器
},
"desc": { #第二个字段名
"type": "text",
"index": true,
"analyzer": "ik_smart",
"search_analyzer": "ik_max_word"
},
"desc2":{ #第三个字段名
"type": "text",
"index": true,
"analyzer": "standard",
"search_analyzer": "standard"
}
}
}
}
}
往新建的索引中插入几条数据：
PUT /ik2_index/userInfo/1 #/索引名/类型名/id
{
"name":"进口红酒",
"desc":"乒乓球拍卖完了",
"desc2":"进口红酒"
}
PUT /ik2_index/userInfo/2
{
"name":"这是一支口红",
"desc":"球拍卖完了",
"desc2":"进口红酒"
}
PUT /ik2_index/userInfo/3
{
"name":"一口一红",
"desc":"乒乓球拍卖会",
"desc2":"进口红酒"
}
查询测试：
第一次检索：
GET /ik2_index/userInfo/_search
{
"query":{
"match": {
"name": {
"query":"进口"
}
}
}
}
结果：
{
"took" : 2,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 1,
"max_score" : 0.2876821,
"hits" : [
{
"_index" : "ik2_index",
"_type" : "userInfo",
"_id" : "1",
"_score" : 0.2876821,
"_source" : {
"name" : "进口红酒",
"desc" : "乒乓球拍卖完了",
"desc2" : "进口红酒"
}
}
]
}
}
只检索出一条数据，分析一下：
name字段在创建索引的时候设置了两个属性：
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
也就是es创建索引的时候用的是ik_max_word分词器，看我们上面存的三条数据的name：
- name ： 进口红酒
ik_max_word分词结果：【进口】【进】【口红】【红酒】 - name ：这是一支口红
ik_max_word分词结果：【这是】【一支】【一】【支】【口红】 - name ：一口一红
ik_max_word分词结果：【一口】【一】【口】【一红】【一】【红】
而我们检索字段是：进口
进口 ik_smart 结果：【进口】
我们通过检索字段【进口】去匹配上面三条数据的 name 的 ik_max_word 结果
可见只有一条匹配结果！
我们再以 【口红】 为检索条件，结果如下图：
口红的 ik_smart 结果是 【口红】，去匹配上面三条数据的name，有两条数据匹配成功！
再用 口红酒 测试一下
口红酒的 ik_smart 结果： 【口】【红酒】
去匹配上面三条数据应该是第一和第三条数据，结果如图：
第二个检索测试：
创建索引时，为desc字段指定的索引是：
"analyzer": "ik_smart",
"search_analyzer": "ik_max_word"
这里直接分析那三条数据的desc字段：
- desc : 乒乓球拍卖完了
ik_smart 分词结果： 【乒乓球】【拍卖】【完了】 - desc : 球拍卖完了
ik_smart 分词结果： 【球拍】【卖】【完了】 - desc : 乒乓球拍卖会
ik_smart 分词结果： 【乒乓球】【拍卖会】
检索字段 球拍，
球拍 的ik_max_word 结果：【球拍】，匹配上面三条数据，只有一条匹配，结果如图：
检索字段 拍卖会，
拍卖会 的ik_max_word 结果：【拍卖会】【拍卖】【会】，匹配上面三条数据，只有两条匹配，结果如图：
检索字段 乒乓球拍，
拍卖会 的ik_max_word 结果：【乒乓球拍】【乒乓球】【乒乓】【球拍】，匹配上面三条数据，三条匹配，结果如图：
检索时自带分词器
如图，我在查询条件里面指定一个分词器：standard（逐字分开）
然后只查到一条数据，原因是：拍卖会经过 standard分词后为【拍】【卖】【会】
然后再去匹配上面三条数据：可见只有一个【卖】匹配到了，所以结果只有一条数据
测试结果：
创建索引时，可以为每个字段指定分词器，若用 ik，需要自己在es里面安装ik插件，不指定则是默认的（默认的分词效果很不好）
就像上面的这条索引：
“analyzer” 指定 这个字段在创建索引的时候使用的分词器
“search_analyzer” ： 指定 这个字段在被检索的时候，给定的检索字段所用的分词器，上面的最后一条测试，
检索的时候自己再指定分词器，那么这次查询就使用你新指定的分词器，而覆盖掉创建索引时指定的分词器