ES 对各字段创建分词 和mapping创建 个人操作记录

最近在搞es的查询和，需要使用到模糊查询 匹配

在之前使用的时候，java 中的String 在 es 默认建立的mapping type是 String 是可以模糊查询的 ，但是新版的ES 废弃了 string 变为  text 和 keyword

这样一来 不管是 trem 还是 fuzzy 查询都不能查询 （也有可能是我个人写法问题，后续在研究下）

一开始想法很天真 很简单 就想修改es 的mapping ，比如我的其中一个字段 title ES默认建立的mapping 是如下格式

使用 -XGET http://192.168.136.128:9200/motor_fans_short_topic/_mapping?pretty 查看 新建的 index 的mapping

title" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          },

就很天真的通过 curl 将 title 修改为 text ：String

curl -XPOST "http://192.168.136.128:9200/motor_fans_short_topic/motor_fans_short_topic/_mapping?pretty" -d '{
     "motor_fans_short_topic": {
        "properties": {
             "title":{
                "type":"string"
           }
        }
    }
    }'

很可惜 不支持 POST 直接报错 （吐槽下 安装的crul 很坑爹 ，真想打死公司的运维 什么都有问题 这只是第一个问题）

修改 put  很可惜 还是报错  405  是 不支持 大概意思是 确实 请求 head  坑爹吧 这不是默认的吗 好吧 加参数

-H "Content-Type:application/json"

curl -XPUT  "http://192.168.136.128:9200/motor_fans_short_topic/motor_fans_short_topic/_mapping?pretty"   -H "Content-Type:application/json" -d '{
     "motor_fans_short_topic": {
        "properties": {
             "title":{
                "type":"string"
           }
        }
    }
    }'

不好意思 还错，查了下 Elasticsearch的 mapping 一旦新建 只能新增字段 不能修改，其实想想马上理解，人家都分词什么的做好，你突然修改人家之前的工作都白做了，要你你乐意

所以到此 对于新接触的我来说 有点懵了，默认新建的不能使用不符合业务需求，默认新建的不能修改，有无法使用post 创建 index （其实是可以的，我的错）

到此我就觉得是时候安装 IK 了 ，所以 开始安装 IK 分词了

IK 的分词很简单，参照官网安装就可以了  https://github.com/medcl/elasticsearch-analysis-ik

安装好之后 测试，发现中文分词就是有问题，是编码问题，也不想修改别人的系统，找替代

我删除了所有我在ES中创建的现有 index

curl -XDELETE 'http://192.168.136.128:9200/motor_fans_short*'

请慎用 很有威力

我觉得放弃使用 crul  使用 psotman 操作

创建成功 很好，

如果index 不存在 使用如下方式 在创建 index 的 同时 创建 mapping

之后创建 对应的mapping ：

http://192.168.136.128:9200/motor_fans_short_topic

{
    "settings" : {
        "analysis" : {
            "analyzer" : {
                "ik" : {
                    "tokenizer" : "ik_max_word"
                }
            }
        }
    },
    "mappings" : {
        "motor_fans_short_topic" : {
            "dynamic" : true,
            "properties" : {
                  "intro" :
                  {    "type": "text",
                    "analyzer": "ik_max_word",
                    "search_analyzer": "ik_max_word"
                  },
                "title" : {
                    "type": "text",
                    "analyzer": "ik_max_word",
                    "search_analyzer": "ik_max_word"
                }
            }
        }
    }
}

只想修改了title 和 intro的默认 匹配 ，所有 值创建对应的，其他字段采用默认mapping  创建成功

如果 已经创建 index  则使用如下方式：

http://192.168.136.128:9200/motor_fans_short_topic/motor_fans_short_topic/_mapping

{
    "properties" : {
          "intro" :
          {    "type": "text",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word"
          },
        "title" : {
            "type": "text",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word"
        }
    }
}

注意两者的区别，其实一样，只是主要mapping 创建好之后只能 新增字段 不能修改已经有的字段

之后 使用 已有的 API 接口往ES中插入数据  重新 查看 mapping

title 和 intro 都是设置默认。

再次使用term 查询 查询成功。目前 业务 提供jar 讲数据写入 kafka ，kafka consumer端写入es 分词完成，模糊查询完成

剩下还有一项工作，就是要将历史数据导入ES 中

有三种方案 ：

第一种：写程序，链接MYSQL，批量的写入kakfa中，后续在现有逻辑已经完成，可以好low啊 而且麻烦

第二种：使用kafka的connect 从 mysql 导入 kafka ，kafka的consumer 程序写入ES中

第二种:直接从数据库中写入 ES中，最直接 最省事

寻找从MYSQL写入ES的方案。使用另外一篇记录遇到的坑吧