分词器

11大Java开源中文分词器的使用方法和分词效果对比

  本文的目标有两个：1、学会使用11大Java开源中文分词器2、对比分析11大Java开源中文分词器的分词效果本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断
·2016-01-31 13:46

Lucene 5.2.1 + jcseg 1.9.6中文分词索引(Lucene 学习序列2)

Lucene5.2.1+jcseg1.9.6中文分词索引(Lucene学习序列2)      jcseg是使用Java开发的一个开源的中文分词器，使用流行的mmseg算法实现。
qiuzhping·2016-01-30 10:00

solr-4.10.0、tomcat7、IKAnalyzer2012FF_u1中文分词器相整合以及相关配置

=============solr-4.10.0跟tomcat7整合以及相关配置=============1、将solr文件中的example文件下的solr目录中所有文件拷贝到自己在磁盘中创建的文件夹中（最好创建成盘符:\solr\home文件下）2、将solr文件中的example文件下的webapps目录中solr.war文件拷贝到自己在磁盘中创建的盘符:\solr\server文件下(可以
semial·2016-01-25 12:00

爬坑 solr-4.10 配置中文分词器ik-analyzer

solr4.10 配置 中文分词器，对应版本  IKAnalyzer2012FF_hf1试过高版本，报错！坑了一把。
zhaoweitco·2016-01-19 14:00

Lucene.Net+盘古分词器(详细介绍)

AF%8D%E5%99%A8%E5%AE%9E%E4%BE%8B%E5%88%86%E6%9E%90%E4%BB%8B%E7%BB%8D.html 本章阅读概要1、Lucenne.Net简介2、介绍盘古分词器
斗爷·2016-01-11 17:00

使用Ansj分词器+Pig来统计中文的词频

阅读更多使用Ansj分词器+Pig来统计中文的词频，Pig的TOKENIZE只支持对英文句子的切分，为什么呢？
weitao1026·2016-01-11 14:00

使用Ansj分词器+Pig来统计中文的词频

使用Ansj分词器+Pig来统计中文的词频，Pig的TOKENIZE只支持对英文句子的切分，为什么呢？
weitao1026·2016-01-11 14:00

使用Ansj分词器+Pig来统计中文的词频

阅读更多使用Ansj分词器+Pig来统计中文的词频，Pig的TOKENIZE只支持对英文句子的切分，为什么呢？
weitao1026·2016-01-11 14:00

Beta版测试报告

3.在选用PanGu分词器时，有时加载默认的词典时会崩溃。 4.胡乱点击各种按钮，可能会导致加载出现问题。 
PowerTeam·2016-01-10 09:00

elastic search新词处理

这样就要面对两种情况，第一种情况如果这关键词已经存在es中ik分词器的词典中，那么久不会有问题，用户可以搜索出自己想要的结果；第二种情况，就是这个关键词不在ik中，那么用户就搜索不到匹配的内容。  
落叶留步·2016-01-06 20:00

Solr与tomcat整合,并添加中文分词器

1.将solr中的example中的solr拷贝到要作为服务器的位置(我当前创建的目录为D:\lucene\solr\home)2.将相应的solr的web程序也拷贝出来放在相应的目录(我当前创建的目录为D:\lucene\solr\server)注意将solr\example\webapps\solr.war拷贝到D:\lucene\solr\server后要将solr.war解压 3.修改so
shubingzhuoxue·2016-01-04 15:00

Elasticsearch零停机时间更新索引配置或迁移索引

本文介绍Elasticsearch零宕机时间更新索引配置映射内容的方法，包括字段类型、分词器、分片数等。方法原理就是，利用别名机制，给索引配置别名，所有应用程序都通过别名访问索引。
kfcman·2015-12-29 11:00

window下SOLR安装详解。

tomcat7.0.53solr4.0.26window7系统分词器用的IKAnalyzer安装步骤：第一步：安装tomcat。如果解压缩版只需要解压即可。第二步：解压缩solr的包。
wanzuwodou·2015-12-29 11:00

solr中文分词器

1、mmseg4j把jar包放到webapp\WEB-INF\lib目录下schema加入                                                          tokenizer的参数：dicPath参数－设置自定义的扩展词库，支持相对路径(相对于solr_home).mode参数－分词模式。
yntmdr·2015-12-26 19:44

Lucene内置很多的分词器工具包，

Lucene内置很多的分词器工具包，几乎涵盖了全球所有的国家和地区，最近散仙，在搞多语言分词的一个处理，主要国家有西班牙，葡萄牙，德语，法语，意大利，其实这些语系都与英语非常类似，都是以空格为分割的语种
weitao1026·2015-12-26 00:00

Spark + ansj 对大数据量中文进行分词

目前的分词器大部分都是单机服务器进行分词，或者使用hadoopmapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢，相对spark来说代码书写较繁琐。
xiao_jun_0820·2015-12-21 10:00

测试庖丁解牛分词工具

因为笔者要在MapReduce中进行中文分词解析数据，所以测试了一下庖丁解牛中文分词器（paoding-analysis-2.0.4-beta）。
qq_26562641·2015-12-17 13:00

【Java】Java中文分词器Ansj的使用

 以前都是用C++对中文进行分词，也用过Python的“结巴”分词，最近用了一下Java的Ansj中文分词，感觉还不错。下面是用Ansj对中文进行分词的一个简单例子，希望能对大家有用。1.下载Ansj的相关jar包要用Ansj进行中文分词，必须先下载Ansj的jar包，下载地址可以参考：https://github.com/NLPchina/ansj_seg2.程序代码用Ansj进行中文分词的简单
qq_26562641·2015-12-17 13:00

开源 Java 中文分词器 Ansj 作者孙健专访

Ansj是一个开源的Java中文分词工具，基于中科院的ictclas中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。 在线演示：http://ansj.sdapp.cn/demo/seg.jsp 官网地址：http://www.ansj.org/ Github地址：https://github.com/ansjsun/ansj_seg 我们本期采访了Ansj的作者孙健，
qq_26562641·2015-12-17 13:00

Solr 5.x集成中文分词word，mmseg4j

使用标准分词器，如图：使用word分词器下载word-1.3.jar，注意solr的版本和word分词的版本将文件word-1.3.jar拷贝至文件夹C:\workspace\Tomcat7.0\webapps
refactor·2015-12-15 22:00

常用中文分词器

分词器：1、word分词器2、ansj分词器3、mmseg4j分词器4、ik-analyzer分词器5、jcseg分词器6、fudannlp分词器7、smartcn分词器8、jieba分词器9、stanford
itace·2015-12-11 17:00

elasticsearch文档-analysis

elasticsearch文档-analysis analysis基本概念全文搜索引擎会用某种算法对要建索引的文档进行分析，从文档中提取出若干Token(词元)，这些算法称为Tokenizer(分词器)
·2015-12-09 11:52

elasticsearch插件大全（不断更新）

分词插件ComboAnalysisPlugin (作者 OlivierFavre,Yakaz)简介：组合分词器，可以把多个分词器的结果组合在一起。SmartC
ximeng1234·2015-12-08 09:00

lucene4.7 分词器（三）

笔者比较推荐的中文分词器是IK分词器，在进入正式的讲解之前，我们首先对Lucene里面内置的几个分析器做个了解. 
m635674608·2015-12-06 01:00

IKAnalyzer如何自定义远端词库

观察了下IKAnalyzer分词器的配置文件IKAnalyzer.cfg.xml发现其中有这样一个选项：，而且作者做了注释说这个就是扩展
m635674608·2015-12-05 21:00

从搜索引擎说起

首先搭建ES搜索引擎，引入IK中文分词器进行分词，把它以插件的形式集成到搜索引擎中。配
闲庭细步·2015-12-05 01:48

Centos6.5下安装ElasticSearch

需要安装中文分词器，即使安装了ik分词器也不能很好的支持，需要再安装一些插件并且配置好。幸运的是，网上有一个懒人包RTF。什么是ElasticSearch-RTF？
zcczbq·2015-12-04 17:06

Centos6.5下安装ElasticSearch

需要安装中文分词器，即使安装了ik分词器也不能很好的支持，需要再安装一些插件并且配置好。幸运的是，网上有一个懒人包RTF。什么是ElasticSearch-RTF？
qq_27575627·2015-12-04 17:00

Solr整合Ansj中文分词器

Ansj的使用和相关资料下载参考：http://iamyida.iteye.com/blog/2220833参考 http://www.cnblogs.com/luxh/p/5016894.html 配置和solr和tomcat的 1、从http://iamyida.iteye.com/blog/2220833下载好Ansj需要的相关的资料，下面是已下载好的。Ansj资料：http://pan.b
CN.programmer.Luxh·2015-12-03 19:00

Solr整合Ansj中文分词器

Ansj的使用和相关资料下载参考：http://iamyida.iteye.com/blog/2220833参考 http://www.cnblogs.com/luxh/p/5016894.html 配置和solr和tomcat的 1、从http://iamyida.iteye.com/blog/2220833下载好Ansj需要的相关的资料，下面是已下载好的。Ansj资料：http://pan.b
CN.programmer.Luxh·2015-12-03 19:00

中文分词器IK和Paoding技术对比

IK和Paoding的技术介绍一、Ik分词器介绍：优点：采用了特有的“正向迭代最细粒度切分算法”，具有60万字/秒的高速处理能力。
m635674608·2015-12-03 16:00

mmseg 分词器 同义词总结

mmseg分词器最多大分词是2个词这意味着使用mmseg分词器，同义词分词，最大匹配只能匹配2个词的同义词。  如果使用mmesg分词器，需要把一些大于3个的词，加入扩展词库。    
m635674608·2015-12-02 22:00

MMSegAnalyzer 自定义 同义词分词器

packagesynonym; importjava.io.File; importjava.io.IOException; importjava.io.Reader; importjava.io.StringReader; importorg.apache.lucene.analysis.Analyzer; importorg.apache.lucene.analysis.T
m635674608·2015-12-02 20:00

jieba分词学习笔记（一）

[toc]序中科院的ICTCLAS，哈工大的ltp，东北大学的NIUParser是学术界著名的分词器，我曾浅显读过一些ICTCLAS的代码，然而并不那么好读。
menc·2015-11-28 00:00

lucene版本升级到4.6.0以上之后使用mmseg4j分词器遇到的问题

使用 mmseg4j1.9.1使用的是 lucene4.3 没问题。 packagecom.artbulb.search.utils; importjava.io.StringReader; importorg.apache.lucene.analysis.Analyzer; importorg.apache.lucene.analysis.TokenStream; importo
m635674608·2015-11-27 21:00

ElasticSearch的Mapping之字段类型

":{"type":"string",//字符串类型"index":"analyzed"//分词，不分词是：not_analyzed，设置成no，字段将不会被索引"analyzer":"ik"//指定分词器
qindongliang1922·2015-11-26 18:00

ElasticSearch的Mapping之字段类型

":{"type":"string",//字符串类型"index":"analyzed"//分词，不分词是：not_analyzed，设置成no，字段将不会被索引"analyzer":"ik"//指定分词器
qindongliang1922·2015-11-26 18:00

ElasticSearch的Mapping之字段类型

type":"string",//字符串类型 "index":"analyzed"//分词，不分词是：not_analyzed，设置成no，字段将不会被索引 "analyzer":"ik"//指定分词器
qindongliang1922·2015-11-26 18:00

lucene4.x自定义停用分词器

packagecom.kkrgwbj.util; importorg.apache.lucene.analysis.Analyzer; importorg.apache.lucene.analysis.TokenStream; importorg.apache.lucene.analysis.Tokenizer; importorg.apache.lucene.analysis.core.Let
吕兵阳·2015-11-25 21:00

中文分词器分词效果的评测方法

[原创]中文分词器分词效果的评测方法2013年8月27日由learnhard留言»转载请注明出处：http://www.codelast.com/现在有很多开源的中文分词器库，如果你的项目要选择其一来实现中文分词功能
凌风探梅·2015-11-25 13:17

solr检索数据召回问题解决

多数情况下我们建议优化分词器或者引擎其它部分达到预期检索效果。
fengyong7723131·2015-11-25 10:00

Solr企业搜索引擎搭建

一、SOLR搭建企业搜索平台运行环境：运行容器：Tomcat6.0.20Solr版本：apache-solr-1.4.0分词器：mmseg4j-1.6.2词库：sogou-dic准备工作：下载tomcat6.0.20
dm_ml·2015-11-24 11:00

ElasticSearch中分词器组件配置详解

首先要明确一点，ElasticSearch是基于Lucene的，它的很多基础性组件，都是由ApacheLucene提供的，而es则提供了更高层次的封装以及分布式方面的增强与扩展。 所以要想熟练的掌握的关于es中分词方面的知识，一定得先从Lucene抓起，否则只会是丈二和尚摸不着头脑，当然我们大多数开发者只关注于怎么用，偏底层的东东，也没有太多时间去深究，这也有情可原，遇到问题再去探究，也何尝不是一
葬月仙帝·2015-11-23 20:55

ElasticSearch中分词器组件配置详解

首先要明确一点，ElasticSearch是基于Lucene的，它的很多基础性组件，都是由ApacheLucene提供的，而es则提供了更高层次的封装以及分布式方面的增强与扩展。所以要想熟练的掌握的关于es中分词方面的知识，一定得先从Lucene抓起，否则只会是丈二和尚摸不着头脑，当然我们大多数开发者只关注于怎么用，偏底层的东东，也没有太多时间去深究，这也有情可原，遇到问题再去探究，也何尝不是一种
葬月仙帝·2015-11-23 20:55

ElasticSearch中分词器组件配置详解

首先要明确一点，ElasticSearch是基于Lucene的，它的很多基础性组件，都是由ApacheLucene提供的，而es则提供了更高层次的封装以及分布式方面的增强与扩展。 所以要想熟练的掌握的关于es中分词方面的知识，一定得先从Lucene抓起，否则只会是丈二和尚摸不着头脑，当然我们大多数开发者只关注于怎么用，偏底层的东东，也没有太多时间去深究，这也有情可原，遇到问题再去探究，也何尝不是一
葬月仙帝·2015-11-23 20:55

ElasticSearch中分词器组件配置详解

首先要明确一点，ElasticSearch是基于Lucene的，它的很多基础性组件，都是由ApacheLucene提供的，而es则提供了更高层次的封装以及分布式方面的增强与扩展。 所以要想熟练的掌握的关于es中分词方面的知识，一定得先从Lucene抓起，否则只会是丈二和尚摸不着头脑，当然我们大多数开发者只关注于怎么用，偏底层的东东，也没有太多时间去深究，这也有情可原，遇到问题再去探究，也何尝不是一
九劫散仙·2015-11-23 20:00

ElasticSearch中分词器组件配置详解

阅读更多首先要明确一点，ElasticSearch是基于Lucene的，它的很多基础性组件，都是由ApacheLucene提供的，而es则提供了更高层次的封装以及分布式方面的增强与扩展。所以要想熟练的掌握的关于es中分词方面的知识，一定得先从Lucene抓起，否则只会是丈二和尚摸不着头脑，当然我们大多数开发者只关注于怎么用，偏底层的东东，也没有太多时间去深究，这也有情可原，遇到问题再去探究，也何尝
qindongliang1922·2015-11-23 20:00

ElasticSearch中分词器组件配置详解

阅读更多首先要明确一点，ElasticSearch是基于Lucene的，它的很多基础性组件，都是由ApacheLucene提供的，而es则提供了更高层次的封装以及分布式方面的增强与扩展。所以要想熟练的掌握的关于es中分词方面的知识，一定得先从Lucene抓起，否则只会是丈二和尚摸不着头脑，当然我们大多数开发者只关注于怎么用，偏底层的东东，也没有太多时间去深究，这也有情可原，遇到问题再去探究，也何尝
qindongliang1922·2015-11-23 20:00

ElasticSearch中分词器组件配置详解

首先要明确一点，ElasticSearch是基于Lucene的，它的很多基础性组件，都是由ApacheLucene提供的，而es则提供了更高层次的封装以及分布式方面的增强与扩展。所以要想熟练的掌握的关于es中分词方面的知识，一定得先从Lucene抓起，否则只会是丈二和尚摸不着头脑，当然我们大多数开发者只关注于怎么用，偏底层的东东，也没有太多时间去深究，这也有情可原，遇到问题再去探究，也何尝不是一种
qindongliang1922·2015-11-23 20:00

xunsearch数字搜索的特殊处理

xunsearch的默认分词器达不到效果，最相近的XSTokenizerXlen，默认是以2为步长，于是通过13可以搜索到138xxxx136xxxx131xxxx；但通过136搜索却一无所获。
深蓝苹果·2015-11-18 22:00
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他