分词器

自然语言处理--利用 Doc2vec 计算文档向量

模块为语料库中的每篇文档包含了词向量嵌入和文档向量fromgensim.models.doc2vecimportTaggedDocument,Doc2Vec#gensim的simple_preprocess单元是一个粗分词器
@糯米君·2021-01-21 23:41

ElasticSearch 的标准分词器和关键词分词器

标准分词器如果没有指定分词器，将使用标准分词器standard作为默认的分词器。
小伍·2021-01-20 00:36

Elasticsearch IK 分词器插件的安装使用

重启ES服务器，观察加载日志是否包含IK分词器。IK分词器的使用IK分词器有两种分词模式：ik_max_word：最细粒度拆分，即最大词数。ik_smart：最粗粒度拆分，即最小词数。
小伍·2021-01-19 00:48

Elasticsearch IK 分词器插件的安装使用

重启ES服务器，观察加载日志是否包含IK分词器。IK分词器的使用IK分词器有两种分词模式：ik_max_word：最细粒度拆分，即最大词数。ik_smart：最粗粒度拆分，即最小词数。
小伍·2021-01-19 00:49

【Gulimall+】Elasticsearch：docker启动、DSL与Java代码转换+ik分词器

文章目录引言安装elasticsearch使用ik分词器SpringBoot整合商品上架DSL查询DSL翻译为java代码引言先收藏一波官方link再看看别人的笔记1link笔记2link就假装我会了。
星空•物语·2021-01-11 23:34

Springboot2.x整合ElasticSearch7.x实战（二）

第三章分词器安装使用搜索，少不了使用分词器，elasticsea
rodert·2021-01-09 01:19

ElasticSearch商城商品搜索实战

如何达到更高效的分词；怎么分词；分词器的使用；源码工程讲解；MySQL->到ES数据导入;存储以MySQL+ElasticSearch为例，实际业务中要实现商品搜索。
程序员小强·2021-01-06 21:47

IK分词器新增词库使历史数据生效

背景IK作为常用的ES中文分词插件。但是在IK新增热词后，不会去更新历史数据，只有后续新增的数据才生效。那么问题来了？如何对历史数据进行更新呢?解决方案官方提供根据查询更新update_by_queryPOSTtest_index/_update_by_query?conflicts=proceed格式：test_index索引名注：此命令会更新索引下所有数据，默认按照1000一个批次处理，如下图
程序员小强·2021-01-06 17:22

ElasticSearch之IK中文分词

例如：中华人民共和国国歌先只有默认的分词器看下效果GET_analyze{"analyzer":"standard","text":"中华人民共和国国歌"}从下图中可以看出，完全是按照一个汉字，一个个的分词的
程序员小强·2021-01-06 17:47

ElasticSearch 学习 IK分词器类型

GET_analyze{"analyzer":"simple","text":"恭请大驾光临"}GET_analyze{"analyzer":"whitespace","text":"恭请大驾光临"}GET_analyze{"analyzer":"simple","text":"恭请大驾光临"}
jimson·2021-01-04 18:53

「Elasticsearch」ES重建索引怎么才能做到数据无缝迁移呢？

那如果后续业务发生变化，需要改变数据结构或者更换ES更换分词器怎么办呢？为此，Elastic团队提供了很多通过辅助⼯具来帮助开发⼈员进⾏重建索引的方案。如果对reindexAPI不熟悉
程序员小明·2021-01-02 14:36

「Elasticsearch」ES重建索引怎么才能做到数据无缝迁移呢？

那如果后续业务发生变化，需要改变数据结构或者更换ES更换分词器怎么办呢？为此，Elastic团队提供了很多通过辅助⼯具来帮助开发⼈员进⾏重建索引的方案。如果对reindexAPI不熟悉
程序员小明·2021-01-02 14:21

分享：后端开发最佳实践

当时有个同事想要引入ElasticSearch，用ElasticSearch的拼音分词器来实现。这看起来确实是一个很好的实现方式，谷歌上按关键字查询，排在前面的基本上
noname·2020-12-29 20:53

ELK实现全文检索

版本：7.8.0下载好elasticsearch，logstash，kibana，ik分词器https://www.elastic.co/cn/downloads/elasticsearchhttps:
kafeimao·2020-12-27 16:31

ElasticSearch笔记

1、、一个人2、货比三家3、安装4、生态圈5、分词器ik6、RestFul操作ES7、CRUD8、SpringBooy集成Elastic
流水飘香·2020-12-27 00:53

spacy分词器

spacy中文分词器spacy分词器介绍分词算法介绍分词模式介绍三种分词模式自定义词典关键词提取spacy分词器介绍spacy使用的中文jieba分词器，接下来对这个分词器进行简单介绍。
xiaoxiaoqian0519·2020-12-25 13:00

Springboot2.x整合ElasticSearch7.x实战（二）

第三章分词器安装使用搜索，少不了使用分词器，elasticsea
rodert·2020-12-22 23:20

服务器环境配置（CentOS7）

Scala安装配置MySQL安装配置Redis安装配置Nginx安装配置Zookeeper安装配置Kafka安装配置ElasticSearch安装配置ElasticSearch-Head_master安装IK分词器安装
Howareyou？·2020-12-16 11:40

ElasticSearch7.10的分词器-03

ElasticSearch7.10的分词器现在有很多公司都在使用ElasticSearch，其中用来查询分析只要是词条，他的分词器分为：分词器用途StandardAnalyzer标准分词器，适用于英语等
山沉·2020-12-09 02:57

windows10 环境 es elasticsearch 安装 analysis-icu-6.8.6 NoSuchFileException

windows10环境es安装analysis-icu-6.8.6NoSuchFileException问题描述在win10环境下进行es6.8.6集icu分词器的时候出现异常Causedby:java.nio.file.NoSuchFileException
草莓Sir·2020-12-08 17:44

Elasticsearch 字段类型

该类型的字段内容在保存时会被分词器分析，并且拆分成多个词项，然后根据拆分后的词项生成对应的索引，根据关键字检索时可能会将关键字分词，用分好的词从之前生成的索引中去匹配，进而找到对应的文档。
SheHuan·2020-12-08 13:46

五Docker（八）

rabbitmq场景：解耦、流量削峰、异步调用...六种模式：简单、工作、发布和订阅、路由、主题、RPCsolr配置1、创建core核心：pd2、pd核心配置中文分词器：ik分词1、jar文件2、ik分词器的配置文件
LLL333·2020-12-02 22:02

五Docker（八）

rabbitmq场景：解耦、流量削峰、异步调用...六种模式：简单、工作、发布和订阅、路由、主题、RPCsolr配置1、创建core核心：pd2、pd核心配置中文分词器：ik分词1、jar文件2、ik分词器的配置文件
LLL333·2020-12-02 22:31

ElasticSearch 中的中文分词器以及索引基本操作详解

本文是松哥所录视频教程的一个笔记，笔记简明扼要，完整内容小伙伴们可以参考视频，视频下载链接：https://pan.baidu.com/s/1NHoe...提取码:kzv71.ElasticSearch分词器介绍
江南一点雨·2020-11-27 12:07

ElasticSearch 中的中文分词器以及索引基本操作详解

本文是松哥所录视频教程的一个笔记，笔记简明扼要，完整内容小伙伴们可以参考视频，视频下载链接：https://pan.baidu.com/s/1NHoe...提取码:kzv71.ElasticSearch分词器介绍
江南一点雨·2020-11-26 13:36

使用Sentencepiece +CNN进行文本分类

1前言Sentencepiece是google开源的文本Tokenzier工具，其主要原理是利用统计算法，在语料库中生成一个类似分词器的工具，外加可以将词token化的功能；对比开源的分词器，它会将频繁出现的字符串作为词
烛之文·2020-11-23 11:51

使用docker安装ElasticSearch和Kibana和ik分词器

切换到root用户sudoroot密码：vagrant1、下载elasticsearch和kibanadockerpullelasticsearch:7.4.2dockerpullkibana:7.4.22、建立映射文件夹mkdir-p/mydata/elasticsearch/configmkdir-p/mydata/elasticsearch/data3、设置任何机器可访问elasticsea
AdolfQiu·2020-11-22 20:33

如何在docker容器内部安装kibana分词器

步骤：1.在虚拟机目录下新建docker-compose.yml文件,然后进入yml文件编辑vidocker-compose.yml2.在yml文件中添加如下代码：version:"3.1"services:elasticsearch:image:daocloud.io/library/elasticsearch:6.5.4restart:alwayscontainer_name:elastics
·2020-11-20 17:02

elasticsearch-analysis-hao可能是东半球最好用的中文分词器

首先上地址elasticsearch-analysis-haoHAOES分词器简介如何开发一个ES分词插件请参考这里主要参考了IK和HanLP其中有的源码是直接搬运的。
NULL·2020-11-13 18:06

Lucene简介与使用

1.Lucene简介与安装：1.1简介：1.2索引与搜索流程：1.3基本概念：2.安装与使用：2.1使用java包2.2创建索引：2.3查询索引：2.4使用IK分词器分词2.5删除索引2.6编辑索引：1
机智的老刘明同志·2020-11-11 18:57

狂神聊 ElasticSearch(IK分词器+Rest+集成SpringBoot+实战爬虫项目+完整代码及资料)

Bilibili搜索关注：狂神说Java（和狂神一起学习，共同进步）公众号：狂神说（文章日更）狂神聊ElasticSearch版本：ElasticSearch7.6.1（全网最新了）6.X7.X的区别十分大，6.x的API（原生API、RestFul高级！）我们要讲解什么？SQL：like%狂神说%，如果是的大数据，就十分慢！索引！ElasticSearch：搜索！（百度、github、淘宝电商！
未名湖畔种千玺·2020-11-11 00:48

使用Docker快速安装部署ES和Kibana并配置IK中文分词器以及自定义分词拓展词库

使用Docker快速安装部署ES和Kibana的前提：首先需要确保已经安装了Docker环境如果没有安装Docker的话，可以参考上一篇的内容：Linux上安装Docker有了Docker环境后，就可以使用Docker安装部署ES和Kibana了一、安装部署ES和Kibana1、下载ealasticsearch和kibana(es的可视化管理页面)dockerpullelasticsearch:7
嗑嗑磕嗑瓜子的猫·2020-10-28 23:37

Elasticsearch 学习笔记

ElasticSearch四、ES的诞生五、ES的应用场景六、ES的安装七、ES中基本概念八、Kibana的安装九、Kibana的基本操作十、ES中高级检索(Query)10.2URL检索10.3DSL检索十一、IK分词器一
坐在西半球上·2020-10-28 10:09

elasticsearch 的基础概念及应用

目录===1、什么是elasticsearch——1、搜索引擎干了什么——2、elasticsearch如何提供搜索服务——3、elasticsearch中的restful接口、索引、分词器、类型mapping
ClownFreeMan·2020-10-26 17:05

elasticsearch教你使用搜索引擎

1)熟悉ESJava客户端版本特性2)掌握常用API操作3)安装、配置IK中文分词器Java客户端默认es启动后对外开放2个端口号：9200,93009200对应的是http协议restfulapi调用
别給朕装纯·2020-10-14 14:33

ElasticSearch安装中文分词器IKAnalyzer

ElasticSearch安装中文分词器IKAnalyzer 本篇主要讲解如何在ElasticSearch中安装中文分词器IKAnalyzer，拆分的每个词都是我们熟知的词语，从而建立词汇与文档关系的倒排索引
Aska小强·2020-10-11 10:02

通俗易懂ElasticSearch7.6学习笔记

solr的差别Elasticsearch简介Solr简介Lucene简介Elasticsearch和Solr比较ElasticSearchvsSolr总结了解ELKES核心概念文档类型索引倒排索引IK分词器
RunningYoung·2020-09-24 12:29

Elasticsearch ：docker 下 7.4.2版本的 Elasticsearch Kibana Nginx下IK分词器 安装

前面需要提前安装docker这里就不再赘述了前言：docker一些知识1、如何进入docker容器内部linux下指令：dockerexec-itelasticsearch/bin/bashelasticsearch为指令：dockerps，中运行的容器名称windows下指令：dockerexec-itelasticsearchbash2、docker如何查看安装不成功的问题dockerpsdo
CTRA王大大·2020-09-19 09:43

ElasticSearch 笔记

引言1.1海量数据1.2全文检索1.3高亮显示二、ES概述2.1ES的介绍2.2ES的由来2.3ES和Solr2.4倒排索引三、ElasticSearch安装3.1安装ES&Kibana3.2安装IK分词器四
TEST_JAVA_01·2020-09-17 15:06

ik分词器

解压文件夹剪切到elasticsearch-5.6.8文件夹下然后启动el服务，http://127.0.0.1:9200/_analyze?analyzer=ik_smart&pretty=true&text=我是程序员http://127.0.0.1:9200/_analyze?analyzer=ik_max_word&pretty=true&text=我是程序员
zick zeon·2020-09-17 14:02

Windows下部署solrCloud集群

1.新建solrCloud文件夹放在D盘下2.解压solr-5.4.0到solrCloud并命名为solr1.配置IK分词器1.将ik-analyzer-solr5-5.4.0.jar包放入：solr1
qq757682793·2020-09-17 13:25

Elasticsearch的增删改,分页,高亮查询(maven)

前提:请将es的环境(es服务,IK中文分词器,head-master插件等)搭建好,本文章使用的是java代码实现的es的增删改查操作(使用的是测试环境)环境准备在pom文件中导入坐标(第一次导入时间可能有点长
fan_001·2020-09-17 07:32

ElasticSearch环境搭建

在官网把包下载下来直接解压即可使用2.进入到bin目录下elasticsearch.bat文件双击就开启了如下图就是启动成功了默认端口是9200就直接可以用Postman进行调用（get）3.Postman返回参数如图4.集成IK分词器
sun_TheProgramLife·2020-09-17 06:23

solr整合IKAnalyzer后动态添加词汇不需要重启解决方案

solrj)也无法获得IK实例，所以在客户端向动态的添加词汇，可能性很小，现在想到一个解决方案如下修改IKAnalyzer源码，在配置文件中多定义一个数据库连接的选项，我们将自定义词汇保存到数据库中，IK分词器内部去数据库中查找相应词汇并使用内置的
zpc15200790194·2020-09-17 05:58

Elasticsearch 之（24）IK分词器配置文件讲解以及自定义词库

1、ik配置文件ik配置文件地址：es/plugins/ik/config目录IKAnalyzer.cfg.xml：用来配置自定义词库main.dic：ik原生内置的中文词库，总共有27万多条，只要是这些单词，都会被分在一起quantifier.dic：放了一些单位相关的词suffix.dic：放了一些后缀surname.dic：中国的姓氏stopword.dic：英文停用词ik原生最重要的两个配
夏目 "·2020-09-17 05:27

Elasticsearch 之（25）重写IK分词器源码来基于mysql热更新词库

热更新在上一节《IK分词器配置文件讲解以及自定义词库》自定义词库，每次都是在es的扩展词典中，手动添加新词语，很坑（1）每次添加完，都要重启es才能生效，非常麻烦（2）es是分布式的，可能有数百个节点，
夏目 "·2020-09-17 05:27

elasticsearch插件六—— 分词 IK analyzer插件安装详解

结合词典分词和文法分析算法的中文分词组件，从3.0版本之后，IK逐渐成为面向java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义
铭毅天下·2020-09-17 05:54

Elasticsearch自定义词库热更新方案

安装IK分词器首先安装IK分词器，参考：https://blog.csdn.net/weixin_44062339/article/details/85059252自定义词库现在网络热词很多，每隔一段时间就会出现网红热词
攀博分享·2020-09-17 05:08

Elasticsearch IK分词器热更新

简介插件的下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v6.8.1主要原理:创建热更新的http服务,配置IK远端更新地址；步骤如下:修改IK配置文件viplugins/ik/config/IKAnalyzer.cfg.xml修改remote_ext_dict和remote_ext_stopwords这两
逆风doom·2020-09-17 05:07

Elasticsearch ik分词器加载远程数据库中的热词库

1、下载elasticsearch-analysis-ik源码包下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases2、修改源码org.wltea.analyzer.dic.Dictionary单例类的初始化方法initial，在这里需要创建一个我们自定义的线程，并且启动它/***词典初始化由于IKAnalyzer的词典采
weixin_43315211·2020-09-17 05:02
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他