分词器

ElasticSearch7.1.1 配置中文分词的简易方式

阿里云服务器Linux系统安装配置ElasticSearch搜索引擎一、IK简介ElasticSearch（以下简称ES）默认的分词器是标准分词器Standard，如果直接使用在处理中文内容的搜索时，中文词语被分成了一个一个的汉字
phone13144830339·2019-06-14 10:01

HanLP-分类模块的分词器介绍

以下为分享原文（无意义的内容已经做了删除）如下图所示，HanLP的分类模块中单独封装了适用分类的分词器，当然这些分词器都是对HanLP提供的分词器的封装。
adnb34g·2019-06-14 10:58

elasticsearch教程--中文分词器作用和使用

elasticsearch安装目录(/opt/environment/elasticsearch-6.4.0)为范例环境准备·全新最小化安装的centos7.5·elasticsearch6.4.0认识中文分词器在博文
adnb34g·2019-06-12 10:00

elasticsearch教程--中文分词器作用和使用

elasticsearch安装目录(/opt/environment/elasticsearch-6.4.0)为范例环境准备·全新最小化安装的centos7.5·elasticsearch6.4.0认识中文分词器在博文
adnb34g·2019-06-12 09:45

jieba分词器的使用指南

jieba中文处理1.基本分词函数和用法jieba.cut和jieba.cut_for_search返回的结构都是一个可迭代的generator，可以使用for循环来获得分词后的每一个词语(unicode)(1)jieba.cut方法接受三个输入参数**需要分析的字符串cut_all参数用来控制是否采用全模式HMM参数用来控制是否使用HMM模型(2)jieba.cut_for_search方法接受
Gerry_RedBean·2019-06-11 15:03

斯坦福NER模型训练

coreNLP是斯坦福大学开发的关于自然语言处理的工具，包含了命名实体识别、词性标注、分词器等等功能，功能强大使用方便。
chloe科·2019-06-06 18:37

Linux安装Elasticsearch，header插件以及IK分词器

CentOS6.7,可能导致这些问题只在我这里有，不过还是希望能够帮到大家）一、原文链接1、Linux环境快速搭建elasticsearch6.5.4集群和Head插件2、elasticsearch安装和使用ik分词器二
Answer丶·2019-06-04 18:11

使用Docker安装IK中文分词器

下载IK分词器：elasticsearch-analysis-ik-7.1.0.zip进入容器：dockerexec-ites/bin/bash在plugins目录下创建ik文件夹：mkdir/usr/
Orcas阿晨·2019-06-03 19:21

记录一下使用docker部署elasticsearch容器安装ik分词器

docker部署完elasticsearch(后续简称为es)和kibana后（可参考使用docker部署elasticsearch和kibana），我们需要在elasticsearch容器中添加ik分词器插件
chenm1xuexi·2019-06-02 17:50

ElasticSearch(ES) Kibana IK分词器 pinyin分词器安装使用

ElasticsearchKibanaES插件插件版本需要一致Elasticsearch安装使用安装参照官网https://www.elastic.co/cn/downloads/elasticsearch访问http://localhost:9200/Kibana安装使用安装参照官网https://www.elastic.co/cn/downloads/kibana访问http://localh
南岩飞雪·2019-06-01 17:32

分词器介绍及内置分词器

分词器:从一串文本中切分出一个一个的词条,并对每个词条进行标准化包括三部分:characterfilter:分词之前的预处理,过滤掉HTML标签,特殊符号转换等tokenizer:分词tokenfilter
Shaw_Young·2019-05-29 21:01

Elasticsearch使用IK分词支持全文检索

最近项目上需使用Elasticsearch支持全文检索，以下作为笔记：1.版本：elasticsearch-6.2.1；2.将对应ES版本的IK分词器包ik.tar.gz上传至elasticsearch
低调的路过·2019-05-28 11:11

HanLP-实词分词器详解

阅读更多在进行文本分类（非情感分类）时，我们经常只保留实词（名、动、形）等词，为了文本分类的分词方便，HanLP专门提供了实词分词器类NotionalTokenizer，同时在分类数据集加载处理时，默认使用了
adnb34g·2019-05-27 10:00

HanLP-实词分词器

在进行文本分类（非情感分类）时，我们经常只保留实词（名、动、形）等词，为了文本分类的分词方便，HanLP专门提供了实词分词器类NotionalTokenizer，同时在分类数据集加载处理时，默认使用了NotionalTokenizer
adnb34g·2019-05-27 10:04

Elasticsearch 搜索引擎 详解

底层采用倒排索引对文档的内容进行关键词分词，每个关键词对应多个文档出现具体位置信息，后期查询的时候直接通过分词定位到相关的文档信息，默认情况下Elasticsearch对中文分词不是很友好，可以采用第三方Ik分词器或者自定义热词
--逆光飞翔·2019-05-26 21:45

自然语言处理工具HanLP-N最短路径分词

首先说明在HanLP对外提供的接口中没有使用N-最短路径分词器的，作者在官网中写到这个分词器对于实体识别来说会比最短路径分词稍好，但是它的速度会很慢。
adnb34g·2019-05-17 09:00

自然语言处理工具HanLP-N最短路径分词

首先说明在HanLP对外提供的接口中没有使用N-最短路径分词器的，作者在官网中写到这个分词器对于实体识别来说会比最短路径分词稍好，但是它的速度会很慢。
adnb34g·2019-05-17 09:02

DOM

浏览器有一个分词器还有一个解析器。分词器会把空格什么去掉然后把html标签拿出来给解析器，然后解析器再调用对应的函数把标签做成节点对象。然后全部做完就是一个dom树了。
ChenMurphy·2019-05-16 17:06

NLTK——NLTK的正则表达式分词器（nltk.regexp_tokenize）

在《Python自然语言处理》一书中的P121出现来一段利用NLTK自带的正则表达式分词器——nlt.regexp_tokenize,书中代码为:1text='ThatU.S.A.poster-printex-costs-ed
weixin_30411239·2019-05-16 15:00

NLP基础实验③：中文分词-jiaba

中文分词有很多种，常见的比如有中科院计算所NLPIR、哈工大LTP、清华大学THULAC、斯坦福分词器、Hanlp分词器、jieba分词、IKAnalyzer等。
NLP_victor·2019-05-14 21:44

Solr服务搭建配置步骤（二）

中文分词器（IKAnalyzer）配置将下载的IKAnalyzer修改版本解压缩，把目录下ik-analyzer-solr5-5.x.jar复制到tomcat目录下\webapps\solr\WEB-INF
不爱吃的胖子0o·2019-05-10 10:28

Elasticsearch-限制Elasticsearch返回的结果集大小

Elasticsearch返回的结果集大小Elasticsearch-安装与配置Elasticsearch-SpringBoot整合ElasticsearchMySQL数据导入到Elasticsearch使用IK分词器实现搜索在网上查过更改
XiangYida·2019-05-06 10:25

ElasticSearch7索引管理--配置（基于kibana）

获取索引配置GETsecisland3/_settings更新索引配置PUTsecisland3/_settings{"index":{"number_of_replicas":0}}更新分词器创建索引之后可以添加新的分词器
any11·2019-05-05 18:50

Docker elasticsearch安装ik分词器并启动kibana

首先下载elasticsearch镜像dockerpullelasticsearch:6.7.0编写DockerfileDockerfile的内容如下，已经有了详细注释就不再赘述了：FROMelasticsearch:6.7.0#注意es与ik版本要对应RUN./bin/elasticsearch-plugininstall--batchhttps://github.com/medcl/elast
From zero to all·2019-04-27 15:18

solr学习（三）db字段索引到solr增加中文分词

solr版本：8.x1.准备下载中文分词器，下载分词器http://search.maven.org/#search%7Cga%7C1%7Ccom.github.magese，当下最新的没有solr8对应的分词器
反光看不清楚·2019-04-22 17:37

维特比(viterbi)算法与中文词性标注（三）

viterbi算法用于中文词性标注维特比(viterbi)算法与中文词性标注（一）——隐含马尔科夫模型维特比(viterbi)算法与中文词性标注（二）——维特比算法任务简述中文词性标注是在中文分词器将文本划分为逐个词汇的基础上
CoSineZxc·2019-04-20 12:14

维特比(viterbi)算法与中文词性标注（三）

viterbi算法用于中文词性标注维特比(viterbi)算法与中文词性标注（一）——隐含马尔科夫模型维特比(viterbi)算法与中文词性标注（二）——维特比算法任务简述中文词性标注是在中文分词器将文本划分为逐个词汇的基础上
CoSineZxc·2019-04-20 12:14

CentOS7 ElasticSearch安装ik分词器

文章目录一）、为ik分词器的安装准备环境二）、下载ik分词器注意！
摩卡先生·2019-04-10 10:54

solr8.0 ik中文分词器的简单配置（二）

solr8.0ik中文分词器的简单配置（二）下载ik分词器，由于是solr8.0，一些ik分词器版本可能不兼容，以下是个人亲测可行的版本ik分词器下载然后将解压出来的两个jar包放到以下路径：其它的三个文件放到以下路径
Jarbein·2019-04-06 15:00

记org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException: java.lang.AbstractMethodError

今天搭建solr服务器，配置中文分词器IKAnalyzer2012FF_u1，一切都显得那么和谐，过程https://blog.csdn.net/IPI715718/article/details/88933851
IPI715718·2019-04-03 19:52

汉语言处理工具pyhanlp的简繁转换

阅读更多繁简转换HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。
adnb34g·2019-03-29 10:00

ElasticSearch pinyin分词支持多音字

ElasticSearchpinyin分词支持多音字背景我们有一个搜索业务底层采用ElasticSearch作为搜索引擎，在索引的过程中，使用了ik中文分词、拼音分词、同义词等多种分词器。
Ricky_Huo·2019-03-28 19:06

NLP第15课：基于 CRF 的中文命名实体识别模型实现

前面我们用隐马尔可夫模型（HMM）自己尝试训练过一个分词器，其实HMM也可以用来训练命名实体识别器，但在本文，我们讲另外一个算法——条件随机场（CRF），来训练一个命名实体识别器。
Element静婷·2019-03-27 19:04

配置中文分词器

【提示】不同版本的ik分词器配置
Rita楠神·2019-03-26 18:29

【Elastic Search学习总结】4. 倒排索引

目录1.倒排索引列表可以包含文档的ID、词频TF、位置信息，同时注意倒排索引列表里面的单词是不重复的2.分词器的标准化分词的规则是无视大小写、单复数、同义词的案例一【提示】第一列是单词ID；第二列是单词
Rita楠神·2019-03-26 16:17

ElasticSearch的IK分词器下载&安装&操作demo

安装IK分词器下载对应版本的插件https://github.com/medcl/elasticsearch-analysis-ik/releases首先下载es对应版本的ik分词器的zip包，上传到es
呼和浩特-大数据-白胖子·2019-03-24 20:23

Windows安装ElasticSearch-6.6.2及其可视化插件head和IK分词器

Windows安装ElasticSearch-6.6.2及其可视化插件head和IK分词器ES安装官网下载压缩包elasticsearch-6.6.2.zip；解压到指定目录，如D:\Server\；进入到
xudc·2019-03-21 15:00

公司名称分词工作记录

最近要处理公司名称分词问题，开始接触分词算法，其中隐马尔可夫模型是分词的核心（使用的分词器是HanLP，词性表）。处理公司名称真正的难点在于名称中“所属行业”与“公司字号”二者间的有效分隔。
搬砖咸鱼·2019-03-13 09:34

Solr配置和中文分词（没有和数据库字段关联）

文章目录1、solr7.4下载地址2、JDK3.启动solr4.浏览器访问solr管理员界面5、solr使用①创建core②分词1.基本使用2.中文分词solr自带的中文插件（不一定好用）ik分词器（比较好用
phenix_alice·2019-03-12 10:49

Elasticsearch和Kibana虚拟机安装及springboot整合es以及中文ik分词器

Elasticsearch和Kibana虚拟机安装及springboot整合es一、环境介绍虚拟机环境：VMware14、centos7(64位)、jdk1.8Elasticsearch版本：elasticsearch-6.6.1Kinaba版本：Kibana-6.6.1安装总结：推荐centos7(64位)及以上版本,本人在centos6.4(32位)出现很多问题，最终是启动成功但还是有启动报错
CoderYin·2019-03-11 12:41

Elasticsearch和Kibana虚拟机安装及springboot整合es以及中文ik分词器

Elasticsearch和Kibana虚拟机安装及springboot整合es一、环境介绍虚拟机环境：VMware14、centos7(64位)、jdk1.8Elasticsearch版本：elasticsearch-6.6.1Kinaba版本：Kibana-6.6.1安装总结：推荐centos7(64位)及以上版本,本人在centos6.4(32位)出现很多问题，最终是启动成功但还是有启动报错
CoderYin·2019-03-11 12:41

初识Solr搜索引擎

需求：首页的搜索功能，需要根据搜索条件进行分词，查询出需要的结果，然后将分词高亮显示文章目录下载并测试Solr下载配置Java测试Solr在项目中的应用分词器managed-schema整合SSMTomcat
MOKE_XR·2019-02-28 20:10

Docker安装IK分词器

上文：Win10中Docker安装Elasticsearch我们需要安装IK分词器进入容器,会发现此时plugins文件夹下空空如也:D:\>dockerexec-ittensquare_es/bin/
问瑾遗·2019-02-25 20:28

配置elasticsearch6.5.4-ik分词插件安装，测试，扩展字典

elasticsearch基本配置上篇已经简单介绍过，本文讲述配置ik分词器插件的安装，测试，自定义扩展字典，简单使用。希望能帮助后来者少走点弯路。
望月明·2019-02-22 00:00

ElacsticSearch的学习

索引库对应数据库，类型type对应表，即对象，比如一个学生表，对应了ES中的一个type文档document对应行数据列field对应数据库的列column，字段名对应字段名 ES索引库就是把数据库内的数据按照分词器整合进索引库
A390hours·2019-02-21 00:13

安装elasticsearch-analysis-ik中文分词器的步骤讲解

1安装elasticsearch-analysis-ik中文分词器Ik介绍：ik是一款中文的分词插件，支持自定义词库。
toto1297488504·2019-02-15 10:12

十、SpringBoot中使用 ElasticsearchTemplate 实施高亮搜索

是精确搜索，对检索词不分词QueryBuilders.queryStringQuery(keyWord).defaultField(field)先对检索词进行分词，再进行检索 比如：搜索“斗罗大陆”，由于ik分词器将
咸鱼最牛逼·2019-02-14 21:24

Elasticsearch(五):JAVA客户端操作Elasticsearch

es服务端es-head(用来辅助es服务端)ik中文分词器eclipsemavenpom.xml4.0.0com.guo.elastics
西部落酋长·2019-02-03 20:34

IK分词器结合ES使用

elasticearch版本为2.4.6一.es集群在前一章节已经有讲，接下来直接将IK集成到es中，该架构是es两台，主从，利用nginx做负载。二.集成ik：https://github.com/medcl/elasticsearch-analysis-ik注意点：githup上面es对应的IK版本，改elasticearch版本为2.4.6githup上面有安装步骤，注意需要修改的是。IK版
星空寻流年·2019-01-31 10:40

(Elasticsearch)实战Elasticseartch、Logstash、Kibana

1、Elasticsearch的堆栈内存设置建议image.png2、elasticsearch.yml设置中文分词器:/usr/share/elasticsearch/bin/elasticsearch-plugininstallhttps
SkTj·2019-01-29 10:26
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他