ElasticSearch对中文的搜索存在一定的缺陷，为了优化查询结果，一方面要从中文解析器的选择入手，另一方面要改变查询时所使用的条件参数。
ik解析器和standard解析器的对比
standard解析器对中文的解析是逐字解析的。
GET _analyze
{
"text": "文明古国",
"analyzer":"standard"
}
{
"tokens": [
{
"token": "文",
"start_offset": 0,
"end_offset": 1,
"type": "",
"position": 0
},
{
"token": "明",
"start_offset": 1,
"end_offset": 2,
"type": "",
"position": 1
},
{
"token": "古",
"start_offset": 2,
"end_offset": 3,
"type": "",
"position": 2
},
{
"token": "国",
"start_offset": 3,
"end_offset": 4,
"type": "",
"position": 3
}
]
}
显然很多字符我们并不想拆解，所以需要使用其它的解析器。其中ik与ElasticSearch较为匹配，为官方文档中提及。
使用效果如下：
GET _analyze
{
"text": "文明古国",
"analyzer":"ik_smart"
}
{
"tokens": [
{
"token": "文明古国",
"start_offset": 0,
"end_offset": 4,
"type": "CN_WORD",
"position": 0
}
]
}
GET _analyze
{
"text": "文明 古国",
"analyzer":"ik_smart"
}
{
"tokens": [
{
"token": "文明",
"start_offset": 0,
"end_offset": 2,
"type": "CN_WORD",
"position": 0
},
{
"token": "古国",
"start_offset": 3,
"end_offset": 5,
"type": "CN_WORD",
"position": 1
}
]
}
GET _analyze
{
"text": "文明 古国",
"analyzer":"ik_max_word"
}
{
"tokens": [
{
"token": "文明古国",
"start_offset": 0,
"end_offset": 4,
"type": "CN_WORD",
"position": 0
},
{
"token": "文明",
"start_offset": 0,
"end_offset": 2,
"type": "CN_WORD",
"position": 1
},
{
"token": "古国",
"start_offset": 2,
"end_offset": 4,
"type": "CN_WORD",
"position": 2
}
]
}
显然，如果要补足ik的分词效果，可以通过解析后加入“ ”来实现。
使得解析器生效：
为了在索引中使用分词器，需要在mapping的时候进行指定，需要注意的是，mapping一但创建是无法修改的，只能进行添加。
为了验证mapping的指定效果，我们创建如下mapping
PUT test_1
{
"settings": {
"number_of_shards": 3,
"number_of_replicas": 1,
"analysis": {
"analyzer": {
"ik": {
"tokenizer": "ik_max_word"
}
}
}
},
"mappings": {
"test1":{
"properties": {
"content": {
"type": "text",
"analyzer": "ik",
"search_analyzer": "ik_max_word"
},
"content2": {
"type": "text",
"analyzer": "standard",
"search_analyzer": "standard"
},
"content3": {
"type": "text",
"analyzer": "ik",
"search_analyzer": "ik_smart"
},
"content4": {
"type": "text"
}
}
}
}
}
同时放入如下数据来作为验证：（部分中间有空格）
POST test_1/test1/1
{
"content": "中国是四大文明古国之一",
"content2": "中国是四大文明古国之一",
"content3": "中国是四大文明古国之一",
"content4": "中国是四大文明古国之一"
}
POST test_1/test1/2
{
"content": "四大文明 古 国之一有中国",
"content2": "四大文明 古 国之一有中国",
"content3": "四大文明 古 国之一有中国",
"content4": "四大文明 古 国之一有中国"
}
POST test_1/test1/3
{
"content": "四大古文明 国家中有中 国",
"content2": "四大古文明 国家中有中 国",
"content3": "四大古文明 国家中有中 国",
"content4": "四大古文明 国家中有中 国"
}
POST test_1/test1/4
{
"content": "四大古国文明 国家中有中 国",
"content2": "四大古国文明 国家中有中 国",
"content3": "四大古国文明 国家中有中 国",
"content4": "四大古国文明 国家中有中 国"
}
match_phrase和match
这一问题在查询的优化中有一定的影响，很多时候，我们希望所查询的关键字在结果中是呈现一定顺序的。
- 例如我们查询“文明古国”
我们不希望查到：古* 文 * 国 * 明，古 * 国 * 明 * 文这类的数据，那么我们需要使用match_phrase。
如果我们只是知道有这么几个关键字，对于他们的顺序并不了解，那么match会给出对关键字匹配分数最高的结果，而对他们的排序并不关心。
我们来验证match_phrase和match的区别。
我们先使用standard解析器，结果如下：
#短语查询限定了关键字符的顺序
GET test_1/_search
{
"query": {
"match_phrase": {
"content": "文明古国"
}
}
}
"hits": [
{
"_index": "test_1",
"_type": "test1",
"_id": "2",
"_score": 0.7424927,
"_source": {
"content": "四大文明 古 国之一有中国",
"content2": "四大文明 古 国之一有中国",
"content3": "四大文明 古 国之一有中国",
"content4": "四大文明 古 国之一有中国"
}
},
{
"_index": "test_1",
"_type": "test1",
"_id": "1",
"_score": 0.72928625,
"_source": {
"content": "中国是四大文明古国之一",
"content2": "中国是四大文明古国之一",
"content3": "中国是四大文明古国之一",
"content4": "中国是四大文明古国之一"
}
}
]
#而普通查询只关注有或没有。
GET test_1/_search
{
"query": {
"match": {
"content3": "文明古国"
}
}
}
"hits": [
{
"_index": "test_1",
"_type": "test1",
"_id": "4",
"_score": 0.8212668,
"_source": {
"content": "四大古国文明 国家中有中 国",
"content2": "四大古国文明 国家中有中 国",
"content3": "四大古国文明 国家中有中 国",
"content4": "四大古国文明 国家中有中 国"
}
},
{
"_index": "test_1",
"_type": "test1",
"_id": "2",
"_score": 0.81066513,
"_source": {
"content": "四大文明 古 国之一有中国",
"content2": "四大文明 古 国之一有中国",
"content3": "四大文明 古 国之一有中国",
"content4": "四大文明 古 国之一有中国"
}
},
{
"_index": "test_1",
"_type": "test1",
"_id": "1",
"_score": 0.79765683,
"_source": {
"content": "中国是四大文明古国之一",
"content2": "中国是四大文明古国之一",
"content3": "中国是四大文明古国之一",
"content4": "中国是四大文明古国之一"
}
},
{
"_index": "test_1",
"_type": "test1",
"_id": "3",
"_score": 0.79765683,
"_source": {
"content": "四大古文明 国家中有中 国",
"content2": "四大古文明 国家中有中 国",
"content3": "四大古文明 国家中有中 国",
"content4": "四大古文明 国家中有中 国"
}
}
]
注意上面查询结果的分数：因为standard分析将其解析为逐字匹配，所以在一些并未成词的语句中，查询得分也很高。
使用ik解析器来完善分词查询：
我们再使用ik解析器簇中的ik_max_word，结果如下：
GET test_1/_search
{
"query": {
"match": {
"content": "文明古国"
}
}
}
"hits": [
{
"_index": "test_1",
"_type": "test1",
"_id": "1",
"_score": 1.5997804,
"_source": {
"content": "中国是四大文明古国之一",
"content2": "中国是四大文明古国之一",
"content3": "中国是四大文明古国之一",
"content4": "中国是四大文明古国之一"
}
},
{
"_index": "test_1",
"_type": "test1",
"_id": "4",
"_score": 0.87546873,
"_source": {
"content": "四大古国文明 国家中有中 国",
"content2": "四大古国文明 国家中有中 国",
"content3": "四大古国文明 国家中有中 国",
"content4": "四大古国文明 国家中有中 国"
}
},
{
"_index": "test_1",
"_type": "test1",
"_id": "2",
"_score": 0.18232156,
"_source": {
"content": "四大文明 古 国之一有中国",
"content2": "四大文明 古 国之一有中国",
"content3": "四大文明 古 国之一有中国",
"content4": "四大文明 古 国之一有中国"
}
},
{
"_index": "test_1",
"_type": "test1",
"_id": "3",
"_score": 0.17883772,
"_source": {
"content": "四大古文明 国家中有中 国",
"content2": "四大古文明 国家中有中 国",
"content3": "四大古文明 国家中有中 国",
"content4": "四大古文明 国家中有中 国"
}
}
]
ik_max_word将词分为：文明古国，文明，古国进行匹配，所以句子中存在完整的“文明古国”时得分最高，相当于同时匹配了三个分词结果；而在结果二中匹配成功了“文明”；结果三四中，只是存在了字，所以结果得分很低，可以通过分数设限来进行过滤。