分词器

项目开发中遇到的一些有用类或方法的总结

总结3：字符串对应分词器的使用。运行结果:Spark Hbase Hive Hadoop 589 Scala总结4：单词计数或者多数投票常用的Javabean->wordcou
a2011480169·2016-09-28 13:00

基于Lucene的分词原理和方式

原文地址：http://blog.csdn.net/u010366796/article/details/44936859同时也可以参考小鸡慢慢的这篇博客：基于lucene的案例开发：分词器介绍lucene
起风了少年·2016-09-18 17:42

Lucene系列：（6）分词器

1、什么是分词器采用一种算法，将中英文本中的字符拆分开来，形成词汇，以待用户输入关健字后搜索2、为什么要分词器因为用户输入的搜索的内容是一段文本中的一个关健字，和原始表中的内容有差别，但作为搜索引擎来讲
lsieun·2016-09-14 20:27

Lucene系列：（5）LuceneUtils之索引库优化

1、什么是索引库索引库是Lucene的重要的存储结构，它包括二部份：原始记录表，词汇表原始记录表：存放的是原始记录信息，Lucene为存入的内容分配一个唯一的编号词汇表：存放的是经过分词器拆分出来的词汇和该词汇在原始记录表中的编号
lsieun·2016-09-14 05:20

Java开源中文分词器的使用方法和分词效果对比

本文的目标有两个：1、学会使用11大Java开源中文分词器2、对比分析11大Java开源中文分词器的分词效果本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断
qq_33797186·2016-09-05 10:59

Ansj中文分词Java开发小记

1、ansj中文分词器：https://github.com/NLPchina/ansj_seg基于n-Gram+CRF+HMM的中文分词的java实现.分词速度达到每秒钟大约200万字左右（macair
fjssharpsword·2016-08-29 14:55

solr 的安装配置 及中文分词器的配置

介绍Solr是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。Solr是一个全文检索服务器，只需要进行配置就可以实现全文检索服务1.1Solr的安装及配置在虚拟机下配置需要把solr服务器安装到linux环境：第一步：安装linux、jdk、tomcat
刘备invoke·2016-08-19 12:53

在Solr中配置中文分词器word

Solr是在schema.xml（managed-schema）中配置Analyzer。注意：在Solr6.1.0的conf文件夹下没有schema.xml这个文件，只有managed-schema，如果把managed-schema删掉，然后放schema.xml，那么运行时候会根据schema.xml生成managed-schema，如果这两个文件同时存在，则会只根据managed-schem
尚亦汐·2016-08-10 13:26

IKAnalyzer分词器

阅读更多importjava.io.IOException;importjava.io.StringReader;importjava.util.HashMap;importjava.util.Map;importorg.wltea.analyzer.core.IKSegmenter;importorg.wltea.analyzer.core.Lexeme;publicclassTestJeAna
5keit·2016-08-09 10:00

IKAnalyzer分词器

阅读更多importjava.io.IOException;importjava.io.StringReader;importjava.util.HashMap;importjava.util.Map;importorg.wltea.analyzer.core.IKSegmenter;importorg.wltea.analyzer.core.Lexeme;publicclassTestJeAna
5keit·2016-08-09 10:00

搜索引擎搭建第一步--分词

一、背景说明关于现在流行的分词算法有很多，具体了解请查看：http://www.tuicool.com/articles/uYfy2q2–10大Java开源中文分词器的使用方法和分词效果对比该片文章主要针对庖丁解牛分词算法进行剖析
danlei824·2016-08-08 16:54

搜索引擎搭建第一步--分词

一、背景说明关于现在流行的分词算法有很多，具体了解请查看：http://www.tuicool.com/articles/uYfy2q2–10大Java开源中文分词器的使用方法和分词效果对比该片文章主要针对庖丁解牛分词算法进行剖析
danlei824·2016-08-08 16:54

中文分词工具的初步使用图解

并看看分词后能否减轻技术文章的阅读难度；会不会有帮助；拷贝一段技术文章分了看下；一在线分词http://www.cncorpus.org/CpsParser.aspx分了；标注了词性；不过这个好像对阅读帮助不大；二一个免费分词器这个看上去有点用
bcbobo21cn·2016-08-06 12:36

利用贝叶斯分类器进行文本挖掘---笔记

原文地址：http://now51jq.blog.51cto.com/3474143/15474341.调用庖丁分词器，分词grid@server01:~/data$hadoopjarmrtokenize.jartokenize.TokenizeDriver
柱子89·2016-08-05 18:35

Compass 更智能的搜索引擎（3）--高亮，排序，过滤以及各种搜索

Compass配置分词器简直是不能再简单了。我
Marksinoberg·2016-08-02 22:00

Lucene全文搜索之分词器：使用IK Analyzer中文分词器（修改IK Analyzer源码使其支持lucene5.5.x）

注意：基于lucene5.5.x版本一、简单介绍下IKAnalyzerIKAnalyzer是linliangyi2007的作品，再此表示感谢，他的博客地址：http://linliangyi2007.iteye.com/IKAnalyzer支持两种分词，一种是最细粒度分词（推荐使用，Ik默认采用最细粒度），还有一种的智能分词（测试了一下智能分词还没有lucene自带的分词准确，呵呵了）。二、IKA
eguid_1·2016-07-14 14:00

【Lucene】Apache Lucene全文检索引擎架构之中文分词和高亮显示

前面总结的都是使用Lucene的标准分词器，这是针对英文的，但是中文的话就不顶用了，因为中文的语汇与英文是不同的，所以一般我们开发的时候，有中文的话肯定要使用中文分词了，这一篇博文主要介绍一下如何使用smartcn
eson_15·2016-07-12 18:00

elasticsearch集群&&IK分词器&&同义词

wgethttps://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.3/elasticsearch-2.3.3.tar.gz集群安装：三个节点：master,slave1,slvae2vielasticsearch.ymlcluster.name:my-
xiaobin0303·2016-07-12 14:55

7、自定义分词和中文分词（lucene笔记）

一、自定义分词器这里我们自定义一个停用分词器，也就是在进行分词的时候将某些词过滤掉。
yjaal·2016-07-11 22:25

HBase 高性能获取数据 - 多线程批量式解决办法

Solr和HBase专辑1、“关于Solr的使用总结的心得体会”(http://www.cnblogs.com/wgp13x/p/3742653.html)2、“中文分词器性能比较”(http://www.cnblogs.com
爱人间·2016-07-08 10:47

Elasticsearch - 自定义分析器

全文搜索引擎会用某种算法对要建索引的文档进行分析，从文档中提取出若干Token(词元)，这些算法称为Tokenizer(分词器)；这些Token会被进一步处理，比如转成小写等，这些处理算法被称为TokenFilter
kf_panda·2016-07-06 17:35

《数学之美》读书笔记（二）

词的颗粒度与层次，词表与语言模型，大致地勾勒出了分词器的框架。第5章隐含马尔可夫模型。记得在好多地方都接触过，翻开此章，终于可以一探
阿凯就好·2016-07-03 15:09

maven向本地仓库导入官方仓库没有的jar包

maven向本地仓库导入官方仓库没有的jar包一概述使用疱丁分词器，发现中央仓库中没有paoding-analysis这个jar包，而且如果只是单纯的将从其他处获取的jar包拷贝到本地仓库时不行的，pom
bestlove13141516·2016-06-30 13:08

maven向本地仓库导入官方仓库没有的jar包

 maven向本地仓库导入官方仓库没有的jar包一概述   使用疱丁分词器，发现中央仓库中没有paoding-analysis这个jar包，而且如果只是单纯的将从其他处获取的jar包拷贝到本地仓库时不行的
bestlove12345·2016-06-30 13:00

Lucene—IKAnalyzer分词器配置扩充词典

一.IKAnalyzer包Ik分词器下载地址：点击打开链接，解压之后将IKAnalyzer包加入到自己的工程.二.IK分词独立使用（1）程序目录结构（2）示例程序：IKAnalyzerTest.javapublicclassIKAnalyzerTest
cleargy·2016-06-29 13:53

自定义Lucene分词器示例

Lucene本身并没有提供这种分词器，只能自己照着Lucene已有的分词器进行模仿开发。参照ngram分词器进行开发。要定制这个后缀分词器，实现一个Tok
bruce128·2016-06-20 11:00

elasticsearch2.3.3 java client demo

本文包含的内容1.安装elasticsearch2.3.32.配置ik中文分词器3.使用javaapi对document进行CRUD1.安装建议在linux下（如果是windows直接去https://
郎志刚·2016-06-13 18:28

你不知道的全文检索---solr索引库的维护（一）

你不知道的全文检索---solr索引库的维护（一）         在前面的几篇文章中笔者已经简单的介绍了solr是什么，以及solr的安装和业务字段的配置，并且也安装好了中文分词器。
Senior_lee·2016-06-06 20:00

[Elasticsearch基础]-- 集成ik分词器

一\下载分词器地址：https://github.com/medcl/elasticsearch-analysis-ik二\编译后安装#elasticsearch-analysis-ik-1.8.0.zip1
highfei2011·2016-06-06 17:47

你不知道的全文检索---solr安装中文分词器及配置业务字段

你不知道的全文检索---solr安装中文分词器及配置业务字段          在solr中默认的使用的是英文分词，所以需要手工配置中文分词器，需要我们配置一个FieldType，在FieldType中指定中文分词器
Senior_lee·2016-06-05 21:00

CRF分词的java实现

本文（HanLP）使用纯Java实现CRF模型的读取与维特比后向解码，内部特征函数采用 双数组Trie树(DoubleArrayTrie)储存，得到了一个高性能的中文分词器。
shenxiaoming77·2016-05-26 23:00

elasticsearch插件六—— 分词 IK analyzer插件安装详解

结合词典分词和文法分析算法的中文分词组件，从3.0版本之后，IK逐渐成为面向java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义
wojiushiwo987·2016-05-21 23:00

elasticSearch安装ik分词器

ik分词器github网址：https://github.com/medcl/elasticsearch-analysis-ik可参考该网页内容进行安装1、获取分词的依赖包通过gitclonehttps
dc769319·2016-05-18 10:06

lucene(四) lucene分词器

          Tokenier的一些实现类：            TokenFilter：将语汇单元进行各式各样的过滤TokenFilter的一些实现类：            TokenStream：分词器做好处理后得到的一个流
u013360022·2016-05-18 09:00

solr中文分词器IK-analyzer安装

solr本身对中文是不支持的，所以需要下载中文分词器IK-analyzer下载地址https://code.google.com/archive/p/ik-analyzer/downloads。
YU文武貝·2016-05-17 15:03

自然语言处理之分词器ansj和hanlp介绍

1.ansjansj是ictclas(中科院分词)的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化内存中中文分词每秒钟大约100万字(速度上已经超越ictclas)文件读取分词每秒钟大约30万字准确率能达到96%以上目前实现了:1.中文分词2.中文姓名识别3.用户自定义词典可以应用到自然语言处理等方面,适用于对分词效果要求高的各种
zhao_rock·2016-05-14 09:22

使用Stanford Word Segmenter and Stanford Named Entity Recognizer (NER)实现中文命名实体识别

一、分词介绍http://nlp.stanford.edu/software/segmenter.shtml斯坦福大学的分词器，该系统需要JDK1.8+，从上面链接中下载stanford-segmenter
数据娃掘·2016-05-12 10:50

全文索引----中文分词器mmseg4j

这时候如何处理这个字段，分词器很好的解决了这个问题。     
u010942465·2016-05-10 20:00

[Nutch]指定LUKE的分词器

在上一篇博文我们有介绍给Solr配置中文分词器mmseg4j，那么我们在LUKE工具中如何配置对应的中文分词器进行查看呢？本篇博文将详细进行解释。
Kandy_Ye·2016-05-08 13:00

[Nutch]指定LUKE的分词器

在上一篇博文我们有介绍给Solr配置中文分词器mmseg4j，那么我们在LUKE工具中如何配置对应的中文分词器进行查看呢？本篇博文将详细进行解释。
Kandy_Ye·2016-05-08 13:00

[Nutch]Solr配置自定义的中文分词器mmseg4j

上一篇博文我们有使用LUKE工具来查看使用solrindex产生的索引的具体内容，从里面可以看到，默认的分词很乱，所以这篇博文我们就使用mmseg4j中文分词器。
Kandy_Ye·2016-05-07 19:00

[Nutch]Solr配置自定义的中文分词器mmseg4j

上一篇博文我们有使用LUKE工具来查看使用solrindex产生的索引的具体内容，从里面可以看到，默认的分词很乱，所以这篇博文我们就使用mmseg4j中文分词器。
Kandy_Ye·2016-05-07 19:00

solr特殊字符处理

如上图所示，一般的分词器会默认把标点符号过滤（不过不过滤貌似也没什么意义）；所以这里description是str
菜蚜·2016-05-07 13:00

elasticsearch1.7.2安装ik分词器

ik分词器地址：https://github.com/medcl/elasticsearch-analysis-ik1、下载elasticsearch-analysis-ik-1.4.1.zip2、解压
栋凌·2016-05-06 15:13

全文检索学习历程目录结构(Lucene、ElasticSearch)

Apache Lucene(全文检索引擎)—搜索：http://www.cnblogs.com/hanyinglong/p/5391269.html(3) Apache Lucene(全文检索引擎)—分词器
Kencery·2016-05-06 10:00

Elasticsearch安装使用ik中文分词

序言Elasticsearch默认提供的分词器，会把每个汉字分开，而不是我们想要的根据关键词来分词。例如：curl-XPOST"http://localhost:9200/test/_analyze?
u011404265·2016-05-05 12:00

java中文筛选分词对比

中文分词器分词效果评估对比捐赠致谢使用说明：如何建立开发环境？
qq_32364027·2016-05-04 16:00

solr系列2——solr集成IK Analyzer中文分词器

solr中文分词器IKAnalyzer整合下载IKAnalyzer2012ff_hf1.zip分词包解压将IKAnalyzer2012FF_u1.jar拷贝到/usr/local/tomcat/webapps
逐暗者·2016-04-26 16:12

Lucene 查询(Query)子类

QueryParser(单域查询)QueryParser子类对单个域查询时创建查询query，构造方法中需要传入Lucene版本号，检索域名和分词器。
napoay·2016-04-24 22:00

GoLang package解释

实现了操作错误的函数Expvar为公共变量提供了一个标准的接口，如服务器中的运算计数器flag实现了命令行标记解析fmt实现了格式化输入输出hash提供了哈希函数接口html实现了一个HTML5兼容的分词器和解析器
liangguangchuan·2016-04-21 13:00
上一页 47 48 49 50 51 52 53 54 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他