分析器【analyzer】的构成
分析器主要Character filters：字符过滤器 【0或多个】；Tokenizer：分词器【有且仅有一个】；Token filters：词项过滤器【0或多个】的三种构建构成。
分析器【analyzer】三大构件的作用
Character filters：字符过滤器
主要对即将进行index【索引的文本】进行预处理，以字符流的形式接受源文本，对原文本的字符进行增，删，改 操作。
比如：过滤掉HTML中的特殊标签符号【删】，将阿拉伯字符转成阿拉伯数字【改】。
Tokenizer：切词器
顾名思义：tokenizer对经过Character filters 预处理之后的字符流，进行分词【拆分成多个词项】，并输出一个token流【词项流】。
比如：whitespace分词器【空格分词器】：将good good study 字符流按照空格拆分成[good ，good ，study]的但词项字符数组。类似于String中的split作用。这对倒排索引表的建立非常重要。即，倒排索引确定词项和位置，频次的对应关系，这个tokenizer基本确定了词项。
Token filters （token过滤器）
作用与Character filters的作用类似，只是操作的是经过tokenizer分词之后的字符流，操作的粒度是词项，而Character filters操作的粒度是字符。注意：不允许token过滤器更改每个token的位置或字符偏移量，这也很好理解，因为在Token的时候，分词已经结束，偏移量也就定下来了【偏移量在后续的分词示例中，会有出现和说明】。
比如：synonym token filter可以将同义词引入token流。lowercase token filter可以将所有的token转成小写。
三个构件作用总结
三个构件作用总结
分词器 测试用例
分词器的测试
例如：定义的ik_max_word，和ik_smart两种中文分词器，很明显，两种tokenizer对于文本的切分粒度不一样
例如：定义的ik_max_word，和ik_smart两种中文分词器，很明显，两种tokenizer对于文本的切分粒度不一样
curl -XPOST "http://localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "ik_max_word", "text": "中华人民共和国"}'
分词结果中的位置偏移量为[start_offset, end_offset)，重复：在经过Tokenizer分词之后，再经过token filters 之后形成的tokens ，不能修改在Tokenizer 分词之后形成的 start_offset, end_offset
{
"tokens" : [
{
"token" : "中华人民共和国",
"start_offset" : 0,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 0
},
{
"token" : "中华人民",
"start_offset" : 0,
"end_offset" : 4,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "中华",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 2
},
{
"token" : "华人",
"start_offset" : 1,
"end_offset" : 3,
"type" : "CN_WORD",
"position" : 3
},
{
"token" : "人民共和国",
"start_offset" : 2,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 4
},
{
"token" : "人民",
"start_offset" : 2,
"end_offset" : 4,
"type" : "CN_WORD",
"position" : 5
},
{
"token" : "共和国",
"start_offset" : 4,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 6
},
{
"token" : "共和",
"start_offset" : 4,
"end_offset" : 6,
"type" : "CN_WORD",
"position" : 7
},
{
"token" : "国",
"start_offset" : 6,
"end_offset" : 7,
"type" : "CN_CHAR",
"position" : 8
}
]
}
curl -XPOST "http://localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "ik_smart", "text": "中华人民共和国"}'
{
"tokens" : [
{
"token" : "中华人民共和国",
"start_offset" : 0,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 0
}
]
}
鸣谢
感谢狂乱的贵公子，对elasticsearch 分词器的一些汇总：https://www.cnblogs.com/cjsblog/p/10171695.html
文档指南：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis.html