分词器

用MeCab打造自己的分词器（二）

按照用MeCab打造自己的分词器（一）操作，已经安装好了MeCab。接下来安装指定方式组织语料、词典和配置文件，打造自己的分词系统。
hjx5200·2018-11-29 19:18

Elasticsearch自定义分词器

什么是分词器因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好，会将中文词语拆分成一个一个中文的汉字。
落叶飘零z·2018-11-27 23:57

用MeCab打造自己的分词器（一）

希望能打造满足项目需要的分词器，然后利用这个分词器，来对收集的垂直领域语料进行分词。在此基础上训练词向量，供后续的功能使用。
hjx5200·2018-11-27 09:08

Elasticsearch拼音分词和IK分词的安装及使用

一、Es插件配置及下载1.IK分词器的下载安装关于IK分词器的介绍不再多少，一言以蔽之，IK分词是目前使用非常广泛分词效果比较好的中文分词器。做ES开发的，中文分词十有八九使用的都是IK分词器。
远方的风啊·2018-11-25 11:00

Elasticsearch加入IK分词器

1.下载IK分词器jar包2.解压到G:\elasticsearch-2.4.0\plugins\ik下3.测试，启动G:\elasticsearch-2.4.0\bin\elasticsearch.bat
Anenan·2018-11-22 13:52

【Docker系列】认识ELK,docker安装ELK和IK分词器

1.ELK简介ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有
沙漏半杯·2018-11-21 22:07

elasticsearch 建立索引

创建mapping的过程介绍：分词器（analyzer）包括一个分解器（tokenizer）和多个词元过滤器（filter），词元过滤器的作是对分词器提取的词元进一步处理，比如转成小写，使用edge_ngram
微微一笑19·2018-11-21 11:08

ansj分词器的简单了解介绍

java分词器这两天一没啥事儿的时候就喜欢更新一下博客，养成个写博客的习惯其实也挺好，积少成多，量变引起质变，古人云：不积跬步无以至千里嘛今天写写分词器，关于ansj分词器的一些小老弟的浅薄认识，总结分享一下吧先来说说分词吧
Aupa~Atleti·2018-11-19 21:20

windows配置ik分词器、pinyin分词器

elasticsearch简称ES，ES配置ik分词器，可以提高搜索效率一环境准备ES搭建:https://blog.csdn.net/qq_36819281/article/details/83716330kibana
java开发闭关中·2018-11-17 12:18

Docker 部署 ElasticSearch+ElasticSearch-Head+kibana+ik分词器+pinyin分词器及docker容器vi乱码解决方案

一、Docker部署ElasticSearch1.1拉取镜像dockerpulldocker.elastic.co/elasticsearch/elasticsearch:6.2.21.2运行容器ElasticSearch的默认端口是9200，我们把宿主环境9200端口映射到Docker容器中的9200端口，就可以访问到Docker容器中的ElasticSearch服务了，同时我们把这个容器命名为
有故事的驴·2018-11-15 16:51

ElasticSearch:为中文分词器增加对英文的支持（让中文分词器可以处理中英文混合文档）（转）

本文地址，需转载请注明出处：http://blog.csdn.net/hereiskxm/article/details/47441911当我们使用中文分词器的时候，其实也希望它能够支持对于英文的分词。
GLQ_LH·2018-11-13 08:19

2.从Mongodb拿出数据到ElasticSearch，使用Springboot2.x调用

es中开始，包含了下面几点0.关于logstash（点我）*如何从mongodb中读取数据*如何指定indexTemplate(es中的索引模板)1.关于es（点我）*指定生成索引的mapping*指定分词器
砂糖z·2018-11-12 16:05

0.从Mongodb拿出数据到ElasticSearch，使用Springboot2.x调用

中导出数据到es中开始，包含了下面几点0.关于logstash*如何从mongodb中读取数据*如何指定indexTemplate(es中的索引模板)1.关于es（点我）*指定生成索引的mapping*指定分词器
砂糖z·2018-11-12 16:57

中文分词器 ~ IK Analyzer

分词器常常用来做用户输入的分析，完后再检索数据库一、IKAnalyzer简介IKAnalyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包；最初，它是以开源项目Luence为应用主体的，
帅可儿妞·2018-11-10 15:43

python中文分词器（jieba类库）

先上效果图：数据源：分词后的txt文件：分词后的excel文件：源代码：#!/usr/bin/python#-*-coding:UTF-8-*-#*************************************#author:suijr#create:2018/11/923:58#filename:c.py#usage###********************************
Jenrey·2018-11-10 00:30

SpringBoot2.x集成Elasticsearch6.4.2

SpringBoot2.x集成Elasticsearch6.4.21、配置JDK环境变量2、Linux安装ElasticSearch6.4.23、安装中文分词器4、代码集成4.1创建SpringBoot
ThisLX·2018-11-06 19:38

elasticsearch教程--中文分词器作用和使用

目录概述环境准备认识中文分词器常用的中文分词器IKAnalyzerhanlp中文分词器彩蛋概述上一篇博文记录了elasticsearch插件安装和管理,在地大物博的祖国使用es,不得不考虑中文分词器,es
java_龙·2018-11-05 13:27

ElasticSearch最全分词器比较及使用方法

Elasticsearch中，内置了很多分词器（analyzers）。下
ZhaoYingChao88·2018-11-01 00:00

爬虫（二）：Lucene

搜索引擎基本运行原理*原始数据库做搜索有什么弊端*倒排索引(敲黑板)lucenelucene相关的概念lucene和solr的关系lucene入门程序(写入索引的操作代码)lucene相关写入索引的api的解释ik分词器
花驴·2018-10-31 17:45

IK分词器 原理分析 源码解析

IK分词器在是一款基于词典和规则的中文分词器。本文讲解的IK分词器是独立于elasticsearch、Lucene、solr，可以直接用在java代码中的部分。
没有格子衬衫的程序员·2018-10-30 12:14

ES学习——分析器和自定义分析器

从文档中提取词元（Token）的算法称为分词器（Tokenizer），在分词前预处理的算法称为字符过滤器（CharacterFilter），进一步处理词元的算法称为词元过滤器（TokenFilter），
lkj41110·2018-10-27 12:06

《数学之美》笔记4

分词器输入句子，输出具有独立语义的词语。北京航天航空大学的梁南元提出“查字典”的方法，即从头扫描句子，匹配字典中词语。哈尔滨工业大学的王晓龙提出将一句话分为数量最少的词串。无法解决二义性问题。
DMU_lzq1996·2018-10-25 20:09

《数学之美》笔记4

分词器输入句子，输出具有独立语义的词语。北京航天航空大学的梁南元提出“查字典”的方法，即从头扫描句子，匹配字典中词语。哈尔滨工业大学的王晓龙提出将一句话分为数量最少的词串。无法解决二义性问题。
DMU_lzq1996·2018-10-25 20:09

elasticsearch教程--Analysis篇-分词器

目录概述环境准备什么是分词分词目的分词器彩蛋概述关于elasticsearch教程写了关于安装和安装踩坑记两篇博文,现在就来写点项目中使用中文分词器的历程。
java_龙·2018-10-24 15:38

ElasticSearch教程——自定义分词器

ElasticSearch汇总请查看：ElasticSearch教程——汇总篇分词器Elasticsearch中，内置了很多分词器（analyzers），例如standard（标准分词器）、english
东天里的冬天·2018-10-24 15:14

Solr7.4.0+IK Analyzer7.5.0

配置IK分词到github的ik官方下载ik分词器,并解压出来，加到/opt/modules/solr7/tomcat-solr/webapps/solr/WEB-INF/lib在/opt/modules
chanzhu·2018-10-24 08:46

Elasticsearch配置jieba分词分析器

jieba分词是中文里面比较好的分词器，而当前Elasticsearch官方并不支持jieba分词，但可以通过配置plugins的方式使用jieba分词器作为es的analyzer。
Vancl_Wang·2018-10-19 21:44

Hanlp中使用纯JAVA实现CRF分词

本文（HanLP）使用纯Java实现CRF模型的读取与维特比后向解码，内部特征函数采用双数组Trie树(DoubleArrayTrie)储存，得到了一个高性能的中文分词器。
adnb34g·2018-10-19 11:00

Hanlp中使用纯JAVA实现CRF分词

本文（HanLP）使用纯Java实现CRF模型的读取与维特比后向解码，内部特征函数采用双数组Trie树(DoubleArrayTrie)储存，得到了一个高性能的中文分词器。
adnb34g·2018-10-19 09:30

Elasticsearch6.x 集群搭建

操作系统:CentOS7.5Elasticsearch:6.4.1(IK分词器到2018-10-17只支持到这个版本，当然更高级的版本6.4.2按照以下步骤安装也是没有问题的)JDK:1.8安装目录：/
cnxlk·2018-10-17 09:06

Mysql的全文索引遇到的坑

ALTERTABLEtablenameADDFULLTEXTINDEXidx_full_text_all(field1,field2..)withparserngram;withparserngram：是指定中文分词器插件
Try_harder_every_day·2018-10-16 14:38

Python学习笔记（一）——浏览器自动化测试工具Selenium

会用到的库：Selenium,pandas(数据模型)，jieba（分词器），snownlp（情感分析），worldcloud（生成词云）1.pycharm安装Selenium,pandas与numpy
SkywalkZH·2018-10-13 19:33

基于电影知识图谱的智能问答系统（八） -- 终极完结篇 - Appleyk的专栏 - CSDN博客

（一）--Mysql数据准备基于电影知识图谱的智能问答系统（二）--Neo4j导入CSV文件基于电影知识图谱的智能问答系统（三）--Spark环境搭建基于电影知识图谱的智能问答系统（四）--HanLP分词器基于电影知识图谱的智能问答系统
·2018-10-11 22:00

黑猴子的家：Elasticsearch IK分词器的使用 API 操作

1、Code->GitHubhttps://github.com/liufengji/elasticsearch_api.git2、创建索引//创建索引(数据库)@TestpublicvoidcreateIndex(){//创建索引client.admin().indices().prepareCreate("blog4").get();//关闭资源client.close();}3、创建mapp
黑猴子的家·2018-10-11 13:51

Solr扩展词与停词

solr全文搜索引擎中，对于中文的搜索一般都使用了ik分词器。但是一些专有名词，我们希望它能够作为独立的词条，这叫做扩展词；一些助词，谓词我们不希望它被作为词条，这叫停词。应该如何去做呢？
spring-hz·2018-10-10 22:19

黑猴子的家：Elasticsearch-IK分词器安装

1、CentOS联网[root@node1~]#pingwww.baidu.com2、Maven安装LinuxMaven环境变量配置https://www.jianshu.com/p/79544e383b6e3、elasticsearch-analysis-ik-master.zip包准备下载地址https://github.com/medcl/elasticsearch-analysis-ik4
黑猴子的家·2018-10-10 14:04

Elasticsearch5.6.11+Ik分词器和自定义词库的配置与使用

1、Ik分词器下载在https://github.com/medcl/elasticsearch-analysis-ik中下载对应版本的IK分词器elasticsearch-analysis-ik-5.6.11
cleargy·2018-10-09 18:43

Elasticsearch集成HanLP分词器

阅读更多Elasticsearch集成HanLP分词器1、通过git下载分词器代码。
adnb34g·2018-10-09 08:00

Elasticsearch集成HanLP分词器

阅读更多Elasticsearch集成HanLP分词器1、通过git下载分词器代码。
adnb34g·2018-10-09 08:00

乐优商城（十四）Elasticsearch学习笔记

修改绑定的ip1.3运行1.3.1内核过低1.3.2文件权限不够1.3.3线程数不够1.3.4进程虚拟内存1.3.5重启1.4安装Kibana1.4.1配置1.4.2运行1.4.3控制台1.5安装ik分词器
Black~Hole·2018-10-08 18:18

Broadleaf电商平台(Solr)配置中文分词(ik-analyzer)

平台默认的搜索对于中文不是很理想，为了让商品的搜索更加本地化需要在建立索引的时候配置一个中文分词器。
一念之間_·2018-10-08 17:27

Elasticsearch集成HanLP分词器

1、通过git下载分词器代码。
adnb34g·2018-10-08 14:24

ES基本查询总结

ES与数据库比较查询操作Elasticsearch中当我们设置Mapping（分词器、字段类型）完毕后，就可以按照设定的方式导入数据。有了数据后，我们就需要对数据进行检索操作。
ZhaoYingChao88·2018-10-08 10:21

Elasticsearch-Analysis-IK中文分词器配置使用

Elasticsearch默认已经含有一个分词法standard，默认的分词器会把中文分成单个字来进行全文检索，不是我们想要的结果！发送请求post_analyze?
黑暗行动·2018-10-08 01:59

elasticsearch 拼音+ik分词，spring data elasticsearch 拼音分词

elasticsearch自定义分词器安装拼音分词器、ik分词器拼音分词器：https://github.com/medcl/elasticsearch-analysis-pinyin/releasesik
double_yuan·2018-10-04 16:00

Elasticsearch（三）Analysis

1.standardanalyzer标准分析器由以下使用分词器和分词过滤器组成StandardTokenizerStandardTokenFilterLowerCaseTokenFilterStopTokenFilterPOST_analyze
zsf_lance·2018-09-27 11:32

Elasticsearch 6.4 ingest-attachment对office文件IK分词器全文检索(1) HttpAPI使用

这款插件主要是处理ES中文档解析，如果博友们对ES感兴趣欢迎相互交流：(该文默认你已经具备Es的IK分词器能力)安装:elasticsearch-plugininstallingest-attachment
LazyBoy_Z_z·2018-09-27 11:43

golang基础--gopkg.in/olivere/elastic.v5学习一(环境配置、链接、增加删除索引)

文章目录环境配置安装elasticsearch安装JavaSDK安装分词器安装elasticdump数据迁移启动测试运行名词概念、查看index、查看type使用gopkg.in/olivere/elastic.v5
进击的小猿·2018-09-25 19:17

pyhanlp 分词与词性标注

pyhanlp中的分词器简介pyhanlp实现的分词器有很多，同时pyhanlp获取hanlp中分词器也有两种方式第一种是直接从封装好的hanlp类中获取，这种获取方式一共可以获取五种分词器，而现在默认的就是第一种维特比分词器维特比
Font Tian·2018-09-20 19:49

Java SPI机制实现插件化扩展功能

JavaSPI机制实现插件化扩展功能1.背景我们有一个图数据库的服务，用户希望在不修改现有源代码的情况下扩展自定义的分词器，达到可插件式扩展功能的目标。
Jermy Li·2018-09-20 17:04
上一页 43 44 45 46 47 48 49 50 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他