分词算法

MMSeg分词算法简述

MMSeg只是实现了Chih-HaoTsai的MMSEG算法，这是一个来源于网络的分词算法。
m635674608·2015-12-03 15:00

基于信息熵的无字典分词算法

这几天在研究如何用统计方法来发现新词，扩充自己的词典。看到了几篇很有想法的文章，作者阐述了一下思路。文章里面的数据，我计算了一下，发现文有很多数据不够严谨，最主要的问题，并没有给出很详细的理论方面的说明。结合作者的思路，我进行了如下数学模型的构建和算法的实现。一、概念介绍1、词语分片设一个文档集。其中，为一个文本，。设为文档的分片集合。其中，为文档的一个词语分片，分片就是按step步长对文档进行分
成都笨笨·2015-12-02 22:00

lucene全文检索应用示例及代码简析

　　Lucene是apache软件基金会 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包及架构，提供了完整的查询引擎和索引引擎，实现了一些通用的分词算法，预留很多词法分析器接口。
·2015-11-13 20:20

pychseg - A Python Chinese Segment Project - Google Project Hosting

第一个版本实现了基于的MMSEG中文分词算法Python实现。MMSEG实际上是一个正向最大匹配+多个规则的分词算法。链接给出的几个网站写的很清楚了。
·2015-11-13 19:13

中文分词算法之最大正向匹配算法（Python版）

最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法，分为正向和逆向，原理都是一样的。 正向最大匹配算法，故名思意，从左向右扫描寻找词的最大匹配。 首先我们可以规定一个词的最大长度，每次扫描的时候寻找当前开始的这个长度的词来和字典中的词匹配，如果没有找到，就缩短长度继续寻找，直到找到或者成为单字。 实例： S1="计算语言学课程是三个课时" ,设定最大词长MaxLe
·2015-11-13 08:06

一种正向最小匹配的中文分词算法

///<summary> /// 根据字符串截取存在的词语算法（分词算法） ///</summary> ///<param
·2015-11-13 06:57

Elsa聊天机器人--可定制MSN或网站客服机器人！

      Elsa机器人用到的中文分词算法是我自己写的聊天机器人。
·2015-11-13 04:44

百度关键词算法之中文分词算法_利用分词算法来分析关键词

百度关键词算法之分词算法，利用分词算法来分析关键词，这样做可以让我们的关键词确定的更 为准确，让我们的seo优化工作更快见效。
·2015-11-13 03:13

part

但是一般企业也无法使用到类似GOOGLE或BAIDU等搜索引擎的分词方式查询，毕竟建立一个庞大的词库并进行精心的分词算法对很多应用来说是有点大炮打蚊子了。
·2015-11-13 01:58

一种快速的未登陆词识别方法(原理和实现)

一种快速的未登陆词识别方法(原理和实现)         最近网络上关于分词的算法已经很多了,在实际应用中每个人根据对分词的不同理解写了不同的中文分词算法
·2015-11-12 18:37

中文分词分类有哪些小黄鸡中文分词案例分析

现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。
太原seoer珍惜·2015-11-12 16:00

IK分词算法设计总结

IK分词算法设计思考 加载词典 IK分词算法初始化时加载了“敏感词”、“主词典”、“停词”、“量词”，如果这些词语的数量很多，怎么保证加载的时候内存不溢出 分词缓冲区 在分词缓冲区中进行分词操作，怎么保证分词缓冲区的内容不溢出
·2015-11-12 10:41

关于开源中文搜索引擎架构coreseek中算法详解

中文分词算法
·2015-11-11 14:28

MMSEG介绍及基于分类的中文分词算法遐想

MMSEG介绍及基于分类的中文分词算法遐想          最近一直在弄中文分词，学习了不少分词算法，当然其中少不了中科院的分词工具
·2015-11-11 14:20

中科院软件所张俊林：Baidu分词算法分析

查询处理以及分词技术 随着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为 普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把有代表性的搜索引擎作为研究对象。 搜索引擎经济的崛起，又一次向人们证明了网络所蕴藏的巨大商机。网络离开了搜索将只剩下空洞杂乱的数据，以及大量等
·2015-11-11 11:25

Baidu分词算法分析（转 中科院牛人写的）

查询处理以及分词技术 随 着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为 普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把有代表性的搜索引擎作为研究对象。 搜索引擎经济的崛起，又一次向人们证明了网络所蕴藏的巨大商机。网络离开了搜索将只剩下空洞杂乱的数据，以及
·2015-11-11 04:00

C#中文分词算法：ChineseAnalyzer

1.首先需要引用 2个dll库文件 Lucene.Net.dll + Lucene.China.dll using Lucene.Net;using Lucene.Net.Analysis;using Lucene.China; 2.还有一个data文件夹需要放在C:\Program Files (x86)\Common Files\microsoft shared\DevServer\10.
·2015-11-11 03:22

用mysql数据库写的分词算法代码

我辛苦的整了几天才整好的 拿来给大家分享一下希望可以帮助大家 以下分为四步：每步都有注释说明的 #region 一.先从article表里查询数据 /// <summary> /// 一.先从article表里查询数据 /// </summary> public void fenciBind() {
·2015-11-11 03:20

中文分词算法 学习笔记

中文分词 (Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。 英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过
·2015-11-11 01:13

自然语言分词工具

一.分词软件简介 分词算法在20世纪80年代就有研究，不过基于当时的技术条件所限，大多数就是原始的机械分词算法。比如，最大匹配算法，mmseg等。
·2015-11-11 01:49

Lucene：基于Java的全文检索引擎简介 车东

基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史 全文检索的实现：Luene全文索引和数据库索引的比较 中文切分词机制简介：基于词库和自动切分词算法的比较 具体的安装和使用简介
·2015-11-09 12:39

搜索引擎--范例：中英文混杂分词算法的实现--正向最大匹配算法的原理和实现

纯中文和中英文混杂的唯一区别是，分词的时候你如何辨别一个字符是英文字符还是孩子字符， 人眼很容易区分，但是对于计算机来说就没那么容易了，只要能辨别出中文字符和英文的字符，分词本身就不是一个难题 1：文本的编码问题： 　　utf8：windows下，以utf8格式保存的文本是一个3个字节（以16进制）的BOM的，并且你不知道一个汉字是否是用3位表示，但是英文适合ascii编码一样的 &nbs
·2015-11-08 14:06

站内检索方法之一——Lucene

基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史 全文检索的实现：Luene全文索引和数据库索引的比较 中文切分词机制简介：基于词库和自动切分词算法的比较 具体的安装和使用简介
·2015-11-08 11:49

Lucene.Net 站内搜索

Lucene.Net只是一个全文检索开发包(只是帮我们存数据取数据,并没有界面,可以看作一个数据库,只能对文本信息进行检索)Lucene.Net原理:把文本切词保存,然后根据词汇表的页来找到文章 二 分词算法
AdolphYang·2015-11-07 17:00

如何在java项目中使用lucene

lucene是一个开源的全文检索引擎工具包，但它不是一个成型的搜索引擎，它的功能就是负责将文本数据按照某种分词算法进行分词,分词后的结果存储在索引库中,然后根据关键字从索引库检检索。
·2015-11-07 14:16

盘古分词 - 多元分词

作者：eaglet       盘古分词开发了多元分词算法，其与lucene.net 配合构建全文搜索，经测试准确度接近google和baidu的水平
·2015-11-07 10:41

中文全文信息检索系统中索引项技术及分词系统的实现

最后给出了一种混合型最大匹配分词算法。
·2015-11-05 08:29

[SEO] - 中科院软件所张俊林：Baidu分词算法分析

来源：http://tech-field.org/seo/reprint-articles/chinese-segmentation/   百度分词算法分析之一 查询处理以及分词技术
·2015-11-02 19:55

一个简单最大正向匹配（Maximum Matching）MM中文分词算法的实现

 转载http://blog.csdn.net/wzb56/article/details/7914954# 1.构建词典内存树的TrieNode节点类：       package cn.wzb.segmenter.mm.bean; import java.util.HashMap; /**  *
·2015-11-02 18:43

计蒜客 搜狗输入法（单输出）

在发现这一标记模式后，搜狗的工程师开始尝试在已有的分词算法上进一步加入对
·2015-11-01 15:55

中文全文信息检索系统中索引项技术及分词系统的实现

最后给出了一种混合型最大匹配分词算法。 关键词：信息检索 中文信息处理 分词
·2015-11-01 13:50

漫话中文自动分词和语义识别（下）：句法结构和语义结构

本文内容遵从CC版权协议 转载请注明出自matrix67.com  这篇文章是漫话中文分词算法的续篇。
·2015-11-01 11:12

文本分类（二）特征权重量化器（文档转向量表示）

上一节做了分词器的实现，并实现了Simple、Standar、Cn、ICTCLAS几个分词算法。
·2015-11-01 10:27

ECSHOP模糊分词搜索和商品列表关键字飘红功能

考虑到工期的问题，采用了织梦的分词算法，搜索效果虽然不是特别理想，但是这么短的时间也只能这样了。 在此分享给没钱又着急的朋友，需要
·2015-11-01 09:22

中文分词算法笔记

  中文分词基本算法主要分类 基于词典的方法、基于统计的方法、基于规则的方法、（传说中还有基于理解的-神经网络-专家系统，按下不表） 1、基于词典的方法（字符串匹配，机械分词方法） 定义:按照一定策略将待分析的汉字串与一个“大机器词典”中的词条进行匹配，若在词典中找到某个字符串，则匹配成功。 按照扫描方向的不同：正向匹配和逆向匹配 按照长度的不同：最大匹配和最小匹配 1.1
·2015-11-01 09:34

汉语分词系统的常用算法

常用的分词算法有正向最大匹配、逆向最大匹配、双向最大匹配、最佳匹配法、最少分词法、词网格算法等等。
·2015-10-31 15:46

学习搜索引擎知识部分摘录

现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。
·2015-10-31 11:59

Lucene：基于Java的全文检索引擎简介

基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史 全文检索的实现：Luene全文索引和数据库索引的比较 中文切分词机制简介：基于词库和自动切分词算法的比较 具体的安装和使用简介
·2015-10-31 10:36

对于切分歧义以及识别未登录词的随想--公布硕士论文最新进展四（2007.4.13)

我作的论文主要是信息检索用汉语分词算法研究以及实现汉语分词系统。
·2015-10-31 10:14

公布硕士论文最新进展一（2007.3.6）

    我作的论文主要是信息检索用汉语分词算法研究以及实现汉语分词系统。
·2015-10-31 10:13

公布硕士论文最新进展二（2007.3.19）

我作的论文主要是信息检索用汉语分词算法研究以及实现汉语分词系统。
·2015-10-31 10:13

公布硕士论文最新进展三（2007.3.26)

我作的论文主要是信息检索用汉语分词算法研究以及实现汉语分词系统。
·2015-10-31 10:13

Lucene by车东

基于Java的全文索引引擎Lucene简介：关于作者和Lucene的历史 全文检索的实现：Luene全文索引和数据库索引的比较 中文切分词机制简介：基于词库和自动切分词算法的比较 具体的安装和使用简介
·2015-10-31 09:07

漫话中文自动分词和语义识别（上）：中文分词算法

本文内容遵从CC版权协议 转载请注明出自matrix67.com   记得第一次了解中文分词算法是在 Google 黑板报 上看到的，当初看到那个算法时我彻底被震撼住了
·2015-10-30 14:59

一种快速的未登陆词识别方法(原理和实现)

一种快速的未登陆词识别方法(原理和实现)         最近网络上关于中文分词的算法已经很多了,在实际应用中每个人根据对中文分词的不同理解写了不同的中文分词算法
·2015-10-30 13:44

盘古分词 - 多元分词

盘古分词 - 多元分词  作者：eaglet       盘古分词开发了多元分词算法，其与lucene.net 配合构建全文搜索，经测试准确度接近
·2015-10-30 12:04

C#中文分词算法：ChineseAnalyzer

C#中文分词算法：ChineseAnalyzer 。
·2015-10-30 10:36

ZZ MMSEG 中文分词算法

译者原文地址： http://leeing.org/2009/11/01/mmseg-chinese-segmentation-algorithm/ 论文原文地址： http://technology.chtsai.org/mmseg/ MMSEG ：一个基于最大匹配算法的两种变体的中文单词识别系统 发表日期: 1996-04-29 更新日期: 1998-03-06 文档更新: 20
·2015-10-28 08:37

分词词库文件数据格式设计

    分词模块中主要是2大部分，首先是分词算法部分，然后就是词库部分。分词算法我们使用的是逆向最大匹配算法、语法效验、生词识别（基于上下文统计和语法效验）。
·2015-10-27 16:37

关于字典树的一些常用知识

一、 基本构造Trie树是搜索树的一种，来自英文单词"Retrieval"的简写，可以建立有效的数据检索组织结构，是中文匹配分词算法中词典的一种常见实现。
·2015-10-27 15:02
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他