30_ElasticSearch IK分词器配置文件 以及自定义词库

ElasticSearch IK分词器配置文件 以及自定义词库

更多干货

• 分布式实战（干货）
• spring cloud 实战（干货）
• mybatis 实战（干货）
• spring boot 实战（干货）
• React 入门实战（干货）
• 构建中小型互联网企业架构（干货）
• python 学习持续更新
• ElasticSearch 笔记

一、概述

• ik配置文件
• 如何自己建立词库
• 自己建立停用词库（不想去建立索引）

二、ik配置文件

ik配置文件地址：es/plugins/ik/config目录

• IKAnalyzer.cfg.xml：用来配置自定义词库
• main.dic：ik原生内置的中文词库，总共有27万多条，只要是这些单词，都会被分在一起
• quantifier.dic：放了一些单位相关的词
• suffix.dic：放了一些后缀
• surname.dic：中国的姓氏
• stopword.dic：英文停用词

ik原生最重要的两个配置文件

• main.dic：包含了原生的中文词语，会按照这个里面的词语去分词
• stopword.dic：包含了英文的停用词

停用词，stopword 如：

a the and at but

一般，像停用词，会在分词的时候，直接被干掉，不会建立在倒排索引中

三、自定义词库

3.1 自己建立词库

• 每年都会涌现一些特殊的流行词，网红，蓝瘦香菇，喊麦，鬼畜，一般不会在ik的原生词典里
• 自己补充自己的最新的词语，到ik的词库里面去
• 补充自己的词语，然后需要重启es，才能生效

IKAnalyzer.cfg.xml：ext_dict，custom/mydict.dic

3.2 自己建立停用词库

停用词库：比如了，的，啥，么，我们可能并不想去建立索引，让人家搜索

custom/ext_stopword.dic，已经有了常用的中文停用词，可以补充自己的停用词，然后重启es

更多相关文章

• ElasticSearch 笔记

• 1_ElasticSearch使用term filter来搜索数据

• 2_ElasticSearch filter执行原理 bitset机制与caching机制

• 3_ElasticSearch 基于bool组合多个filter条件来搜索数据

• 4_ElasticSearch 使用terms搜索多个值

• 5_ElasticSearch 基于range filter来进行范围过滤

• 6_ElasticSearch 控制全文检索结果的精准度

• 7_ElasticSearch term+bool实现的multiword搜索原理

• 8_基于boost的搜索条件权重控制

• 9_ElasticSearch 多shard场景下relevance score不准确

• 10_ElasticSearch dis_max实现best fields策略进行多字段搜索

• 11_ElasticSearch 基于tie_breaker参数优化dis_max搜索效果

• 12_ElasticSearch multi_match语法实现dis_max+tie_breaker

• 13_ElasticSearch multi_match+most fiels策略进行multi-field搜索

• 14_ElasticSearch 使用most_fields策略进行cross-fields search

• 15_ElasticSearch copy_to定制组合field进行cross-fields搜索

• 16_ElasticSearch 使用原生cross-fiels 查询

• 17_ElasticSearch phrase matching搜索

• 18_ElasticSearch 基于slop参数实现近似匹配

• 19_ElasticSearch 使用match和近似匹配实现召回率与精准度的平衡

• 20_ElasticSearch rescoring机制优化近似匹配搜索的性能

• 21_ElasticSearch 前缀搜索、通配符搜索、正则搜索

• 22_ElasticSearch 搜索推荐match_phrase_prefix实现search-time

• 23_ElsaticSearch 搜索推荐ngram分词机制实现index-time更多干货

• 24_ElasticSearch TF&IDF算法以及向量空间模型

• 25_ElasticSearch 揭秘lucene的相关度分数算法

• 26_ElasticSearch 四种常见的相关度分数优化方法

• 27_ElasticSearch用function_score自定义相关度分数算法

• 28_ElasticSearch误拼写时的fuzzy模糊搜索技术

• 日志管理ELK