分词算法

Java实现正向最大匹配法和逆向最大匹配法

分词算法基于规则的自动分词算法事先人工建立好分词词典和分词规则库。原理为基于字符串匹配进行分词,这样就要求有足够大的词表为依据。通过一定的算法来实现,如正向最大匹配法、逆向最大匹配法、双向匹配法等
dgeek·2017-03-19 23:30

英文分词算法(Porter stemmer)

英文分词算法(Porterstemmer)主要可以实现单词原型的还原，官网http://tartarus.org/~martin/PorterStemmer/一些词汇的处理结果：http://snowball.tartarus.org
JOY酷酷·2017-03-05 18:24

中文分词：原理及分词算法

http://www.dianacody.com/2014/11/05/cn_cutwords.html中文分词：原理及分词算法05Nov2014ByDianaCody词是最小的能够独立活动的有意义的语言成分
我想我可以更强·2017-01-27 04:56

中文分词的基本原理以及jieba分词的用法

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程2、现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法基于字符串匹配的分词方法：这
Johnson0722·2017-01-21 13:40

每周工作总结

优化本地的积分更新机制，增加了基于elasticsearch的全文检索引擎并完善了相关的后台数据接口，查找并修复作文检索接口导致tomcat内存溢出的严重bug，为elasticsearch增加了基于IK的中文分词算法并对文章检索接口的性能进一步优化
heartshapebox·2017-01-02 10:34

RNN在自然语言处理中的应用

正文中文分词算法具体代码参考github命名实体识别算法具体代码参考github文本生成算法这里内容比较多，详见
clayanddev·2016-12-31 14:41

网页查重-simhash算法的java实现

网页查重-simhash算法的java实现在上一篇文章中，我们简单介绍了simhash算法，而在实际将它应用到网页查重中，我们首先需要分词算法将网页传来的数据流按照权重分开，但是由于对于中文和英文混杂的分词并不熟悉
Xkhbear·2016-12-07 17:24

基于感知器的中文分词算法

http://heshenghuan.github.io/2015/12/21/%E5%9F%BA%E4%BA%8E%E6%84%9F%E7%9F%A5%E5%99%A8%E7%9A%84%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E7%AE%97%E6%B3%95/基于字标注的分词方法基于字标注的方法的实际上是构词方法，即把分词过程视为字在一串字的序列中的标注问题。
noter16·2016-12-07 09:24

经典的分词方法实现（JAVA)

基于规则的自动分词算法原理(1)事先人工建立好分词词典和分词规则库。(2)原理为基于字符串匹配进行分词,这样就要求有足够大的词表为依据。
Quincy1994·2016-10-04 21:49

漫话中文自动分词和语义识别（下）：句法结构和语义结构

这篇文章是漫话中文分词算法的续篇。在这里，我们将紧接着上一篇文章的内容继续探讨下去：如果计算机可以对一句话进行自动分词，它还能进一步整理句子的结构，甚至理解句子的意思吗？
BYR_jiandong·2016-09-18 21:59

数据库定时备份原理，代码（shell+sql）

前几篇博客已经相继公开了去转盘网的所有技术细节，如下：百度网盘爬虫中文分词算法邀请好友注册js分页部分代码这篇博客我将继续公开数据库自动备份的代码。
huangxie·2016-08-22 00:00

java判断百度云分享链接是否失效

这篇文章是本人又一篇技术公开博客，之前本人已经公开了去转盘网的几乎所有的技术细节，这一篇继续补充：首先做个回顾：百度网盘爬虫java分词算法数据
huangxie·2016-08-22 00:00

搜索引擎搭建第一步--分词

一、背景说明关于现在流行的分词算法有很多，具体了解请查看：http://www.tuicool.com/articles/uYfy2q2–10大Java开源中文分词器的使用方法和分词效果对比该片文章主要针对庖丁解牛分词算法进行剖析
danlei824·2016-08-08 16:54

搜索引擎搭建第一步--分词

一、背景说明关于现在流行的分词算法有很多，具体了解请查看：http://www.tuicool.com/articles/uYfy2q2–10大Java开源中文分词器的使用方法和分词效果对比该片文章主要针对庖丁解牛分词算法进行剖析
danlei824·2016-08-08 16:54

自然语言处理之：c++中文分词（附源码）

个人认为在中文分词领域在算法层面上虽层出不穷，但归其根本仍然是大同小异，基于统计的分词算法在根本上并无太大差别，因此我写的这个分词算法在保证高准确性的情况下以实用性，灵活性为主打方向。
举杯邀明月_·2016-08-02 11:22

关于中文分词的一元分词讨论

1.不可能有一种中文分词算法能完全准确地分词，完全按中文分词进行的搜索不能保证搜索的全覆盖，而按字分词的结果是可以保证的2.中文分词带来额外的开销，比如查字典，智能算
shibing624·2016-06-16 23:00

搜狗输入法的分词算法

在发现这一标记模式后，搜狗的工程师开始尝试在已有的分词算法上进一步加入对于十五进制数字串的处理，把网页上的这种形式的15进制数正确地提取出来。我们知
yeshiwu·2016-06-03 16:00

怎么判断百度网盘分享连接已经失效？有那么简单吗？

这篇文章是本人又一篇技术公开博客，之前本人已经公开了去转盘网的几乎所有的技术细节，这一篇继续补充：首先做个回顾：百度网盘爬虫java分词算法数据
haoning747·2016-05-30 08:00

怎么判断百度网盘分享连接已经失效？有那么简单吗？java+python

这篇文章是本人又一篇技术公开博客，之前本人已经公开了去转盘网的几乎所有的技术细节，这一篇继续补充：首先做个回顾：百度网盘爬虫java分词算法数据
haoning747·2016-05-29 22:55

mysql数据库自动备份脚本分享

前几篇博客已经相继公开了去转盘网的所有技术细节，如下：百度网盘爬虫中文分词算法邀请好友注册js分页部分代码这篇博客我将继续公开数据库自动备份的代码。
haoning747·2016-05-22 09:00

mysql数据库自动备份脚本分享

阅读更多前几篇博客已经相继公开了去转盘网的所有技术细节，如下：百度网盘爬虫中文分词算法邀请好友注册js分页部分代码这篇博客我将继续公开数据库自动备份的代码。
haoning747·2016-05-22 09:00

数据库定时备份原理，代码

前几篇博客已经相继公开了去转盘网的所有技术细节，如下：百度网盘爬虫中文分词算法邀请好友注册js分页部分代码这篇博客我将继续公开数据库自动备份的代码。
haoning747·2016-05-22 08:00

mysql数据库自动备份脚本分享

前几篇博客已经相继公开了去转盘网的所有技术细节，如下：百度网盘爬虫中文分词算法邀请好友注册js分页部分代码这篇博客我将继续公开数据库自动备份的代码。
haoning747·2016-05-21 23:41

mysql数据库自动备份脚本分享

前几篇博客已经相继公开了去转盘网的所有技术细节，如下：百度网盘爬虫中文分词算法邀请好友注册js分页部分代码这篇博客我将继续公开数据库自动备份的代码。
haoning747·2016-05-21 23:41

中文分词算法概述

一、中文分词技术综述1、全文检索技术所谓全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。在中文文档中根据是否采用分词技术，索引项可以是字、词或词组，由此可分为基于字的全文索引和基于词的全文索引。基于字的全文索引是指对于文章中的每一个字都建立索引，检索
·2016-05-20 10:00

Lucene：基于Java的全文检索引擎简介

基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史全文检索的实现：Luene全文索引和数据库索引的比较中文切分词机制简介：基于词库和自动切分词算法的比较具体的安装和使用简介：系统结构介绍和演示
yu870646595·2016-05-10 16:00

分词算法-正向最大匹配算法与逆向最大匹配算法

这两种分词方法都是机械分词方法，按照一定的策略将待分析的汉字串与机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配。按照不同长度优先匹配的情况，可以分为最大匹配和最小匹配。由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少用。一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少。统计结果表明，单纯使用正向
qq_32400847·2016-05-10 11:00

中文分词技术

//正向最大匹配分词算法 ，耗时长，这并不是一个很好的算法，我的这个输出是逆向输入的using System;using System.Collections.Generic;using System.Linq
bIgVe·2016-04-30 19:06

分词算法

由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少使用。一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少一、最大正向匹配算法通常简称为ＭＭ法。其基本思想为：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹
将将将·2016-04-20 15:00

【分词】正向最大匹配中文分词算法

中文分词一直都是中文自然语言处理领域的基础研究。目前，网络上流行的很多中文分词软件都可以在付出较少的代价的同时，具备较高的正确率。而且不少中文分词软件支持Lucene扩展。但不管实现如何，目前而言的分词系统绝大多数都是基于中文词典的匹配算法。在这里我想介绍一下中文分词的一个最基础算法：最大匹配算法(MaximumMatching，以下简称MM算法)。MM算法有两种：一种正向最大匹配，一种逆向最大匹
asd8705·2016-04-18 20:02

几种常见的中文分词包的分析与比较

1：中文分词简介2：Lucence的中文分词3：庖丁分词简介4：IK中文分词简介一：中文分词简介1：分词算法分类-----基于字符串匹配的中文分词方法eg：句子：我来自沈阳航空航天大学词典：沈阳航空航天大学沈阳航空航天大学匹配字段
Thinkgamer_·2016-04-17 09:30

几种常见的中文分词包的分析与比较

1：中文分词简介2：Lucence的中文分词3：庖丁分词简介4：IK中文分词简介一：中文分词简介  1：分词算法分类    -----基于字符串匹配的中文分词方法        eg：句子：我来自沈阳航空航天大学
Gamer_gyt·2016-04-17 09:00

中文分词学习资料

中文分词算法之基于词典的正向最大匹配算法中文分词算法之基于词典的逆向最大匹配算法中文分词算法之基于词典的正向最小匹配算法中文分词算法之基于词典的逆向最小匹配算法一种利用ngram模型来消除歧义的中文分词方法中文分词算法之基于词典的全切分算法
l294265421·2016-04-11 23:00

使用Spark框架中文分词统计

技术Spark+中文分词算法对爬取的网站文章的关键词进行统计，是进行主题分类，判断相似性的一个基础步骤。例如，一篇文章大量出现“风景”和“酒店”之类的词语，那么这篇文章归类为“旅游”类的概率就比较大。
youdianjinjin·2016-03-25 18:00

中文分词技术(中文分词原理)

二、中文分词技术的分类我们讨论的分词算法可分
江江梁·2016-03-23 19:04

Java中文分词组件 - word分词

Java分布式中文分词组件-word分词word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。
xiaomin_____·2016-03-10 16:00

词典的存储和搜索

不管是传统的基于词典的分词算法还是现代的基于统计语言模型的分词算法，都需要词典作为输入。本文介绍Trie算法，用来存储词典，并提供高效的搜索功能。词典的格式这里的词典比你书
kamidox·2016-02-21 01:42

文本分析之中文分词

分词常用的方法主要有以下三类，一个是基于字典匹配的分词方法，一个是基于语义分析的分词算法，还有一个是基于概率统计模
vs412237401·2016-02-02 13:00

[Data Mining] 文本分词小程序

1分词算法1.1流程图首先是一个简单的流程图1.2正逆向匹配算法本系统采用的分词算法是基于词典的分词算法，它的主要思想是基于字符串匹配的机械分词，即按照一定的策略将待分词的汉字串与一个“充分大的”分词词典中的词条进行匹配
Gump_cqu·2016-01-27 00:57

【ElasticSearch】 QueryString查询中文歧义词异常问题解决

目前文档存储和查询使用的是IKAnalyse分词，IK这种分词算法对于歧义的处理比较完善，比如：”光远大厦“，会分割成”光”，“远“，”远大“，”大厦“。
kexinmei·2016-01-24 17:00

Lucene：基于Java的全文检索引擎简介

基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史全文检索的实现：Luene全文索引和数据库索引的比较中文切分词机制简介：基于词库和自动切分词算法的比较具体的安装和使用简介：系统结构介绍和演示
wangqi0079·2016-01-20 00:00

mmseg分词算法及实现

中文分词算法大概分为两大类：一是基于字符串匹配，即扫描字符串，使用如正向／逆向最大匹配，最小切分等策略(俗称基于词典的)基于词典的分词算法比较常见，比如正向／逆向最大匹配，最小切分（使一句话中的词语数量最少
DanielWang_·2016-01-10 20:59

中文分词算法基础

中文分词算法现在一般分为三类：基于词典的字符串匹配，基于理解，基于统计的分词。基于词典的字符串匹配分词：机械分词算法。将待分的字符串与一个充分大的机器词典中的词条进行匹配。
gongpulin·2016-01-02 11:00

Lucene.Net 站内搜索

Lucene.Net只是一个全文检索开发包(只是帮我们存数据取数据,并没有界面,可以看作一个数据库,只能对文本信息进行检索)Lucene.Net原理:把文本切词保存,然后根据词汇表的页来找到文章 二 分词算法
马会东·2015-12-26 19:00

开源 Java 中文分词器 Ansj 作者孙健专访

Ansj是一个开源的Java中文分词工具，基于中科院的ictclas中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。 
qq_26562641·2015-12-17 13:00

分词算法:正向最大匹配算法

正向最大匹配算法正向最大匹配算法(FMM)是一种基于词典的分词方法，同样的基于词典的方法还有逆向最大匹配法(RMM)，ngram法.FMM故名思意，左向右扫描寻找词的最大匹配，是一种贪心的思想。流程限定词的最大长度从最大的长度开始在词库中进行匹配只到匹配成功更新起点的位置继续上一步骤只到全部分完实验词库东北 林业 大学 学校 东北林业大学 好地方 学校文本东北林业大学是好学校 这里是个好地方Cod
u013790563·2015-12-14 14:00

mapreduce导出MSSQL的数据到HDFS

今天想通过一些数据，来测试一下我的《基于信息熵的无字典分词算法》这篇文章的正确性。就写了一下MapReduce程序从MSSQL SERVER2008数据库里取数据分析。
成都笨笨·2015-12-03 23:00

MMSeg分词算法简述

MMSeg只是实现了Chih-HaoTsai的MMSEG算法，这是一个来源于网络的分词算法。
m635674608·2015-12-03 15:00

基于信息熵的无字典分词算法

这几天在研究如何用统计方法来发现新词，扩充自己的词典。看到了几篇很有想法的文章，作者阐述了一下思路。文章里面的数据，我计算了一下，发现文有很多数据不够严谨，最主要的问题，并没有给出很详细的理论方面的说明。结合作者的思路，我进行了如下数学模型的构建和算法的实现。一、概念介绍1、词语分片设一个文档集。其中，为一个文本，。设为文档的分片集合。其中，为文档的一个词语分片，分片就是按step步长对文档进行分
成都笨笨·2015-12-02 22:00

lucene全文检索应用示例及代码简析

　　Lucene是apache软件基金会 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包及架构，提供了完整的查询引擎和索引引擎，实现了一些通用的分词算法，预留很多词法分析器接口。
·2015-11-13 20:20
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他