文本相似度

教你文本聚类

这里会用到TF/IDF权重，用余弦夹角计算文本相似度，用方差计算两个数据间欧式距离，用k-means进行数据聚类等数学和统计知识。
·2015-11-10 21:53

[Algorithm] 局部敏感哈希算法(Locality Sensitive Hashing)

局部敏感哈希(LocalitySensitiveHashing，LSH)算法是我在前一段时间找工作时接触到的一种衡量文本相似度的算法。
Poll的笔记·2015-11-10 15:00

.NET下文本相似度算法余弦定理和SimHash浅析及应用

余弦相似性 原理：首先我们先把两段文本分词，列出来所有单词，其次我们计算每个词语的词频，最后把词语转换为向量，这样我们就只需要计算两个向量的相似程度.   我们简单表述如下   文本1：我/爱/北京/天安门/ 经过分词求词频得出向量（伪向量）  [1,1,1,1]   文本2：我们/都爱/北京/天安门/ 经过分词求词频得出向量（伪向
·2015-11-07 13:17

文本相似度计算基本方法小结

适合的应用包括文档文本相似度以及顾客购物习惯的相似度计算等。 Shingling：k-shingle是指文档中连续出现的任意k个字符。
·2015-10-31 11:58

文本相似度检测

using System;using System.Collections.Generic;using System.Text; public class StringCompute{ #region 私有变量 /// <summary> /// 字符串1 /// </summary> private char[] _ArrChar1; /// <summary&g
·2015-10-31 09:56

蛙蛙推荐：蛙蛙教你文本聚类

这里会用到TF/IDF权重，用余弦夹角计算文本相似度，用方差计算两个数据间欧式距离，用k-means进行数据聚类等数学和统计知识。关于这些概念可以去google，或者参考文本后的参考链接。 思路：计
·2015-10-30 12:12

simhash与Google的网页去重

前几天去吃葫芦头的路上，大飞哥给详细的讲解了他在比较文本相似度实验时对Google的simhash方法高效的惊叹，回来特意去找了原文去拜读。
·2015-10-27 12:10

文本挖掘之文本聚类（借力打力）

刘勇Email：[email protected]简介在文本相似度判定中，作者将该算法用于文本聚类中，其核心思想通过比较两个文本向量中元素的相似度，即向量中所含的元素相似个数越多，则两个向量越相似，继而上述文本越相似
志青云集·2015-10-25 11:00

文本相似度计算--余弦定理和广义Jaccard系数

在 7.9余弦定理+空间向量--我的数学3 中简单地说了一下利用余弦定理来计算文本相似度。下面是利用余弦定理和广义Jaccard系数来计算文本相似度。
·2015-10-23 08:38

文本挖掘

基于文本相似度
buster2014·2015-10-20 07:00

文本向量表示及TFIDF词汇权值

文本相似度的常用计算方法有余弦定理和Jaccard系数。但是文本数据与普通的数值数据或类属数据不同，文本数据是一种半结构化数据，在进行文本挖掘之前必须要对文本数据源进行处理，如分词、向量化表示等
·2015-10-19 13:37

文本挖掘之文本相似度判定

刘勇Email:[email protected]简介针对文本相似判定，本文提供余弦相似度和SimHash两种算法，并根据实际项目遇到的一些问题，给出相应的解决方法。经过实际测试表明：余弦相似度算法适合于短文本，而SimHash算法适合于长文本，并且能应用于大数据环境中。余弦相似度原理余弦定理：图-1余弦定理图示性质：余弦值的范围在[-1,1]之间，值越趋近于1，代表两个向量的方向越趋近于0°，他们的
志青云集·2015-10-15 09:00

字符串相似度

字符串相似度http://www.cnblogs.com/tianchi/archive/2013/02/25/2886964.html自己实现文本相似度算法（余弦定理） http://my.oschina.net
毛朱·2015-08-30 22:00

余弦定理实现新闻自动分类算法

但是另外一个概念，可能不是很多的人会听说过，他叫空间向量，一般用e表示，高中课本中有专门讲过这个东西，有了余弦定理和向量空间，我们就可以做许多有意思的事情了，利用余弦定理计算文本相似度的算法就是其中一个很典型的例子
Android路上的人·2015-07-27 21:33

余弦定理实现新闻自动分类算法

但是另外一个概念，可能不是很多的人会听说过，他叫空间向量，一般用e表示，高中课本中有专门讲过这个东西，有了余弦定理和向量空间，我们就可以做许多有意思的事情了，利用余弦定理计算文本相似度的算法就是其中一个很典型的例子
Androidlushangderen·2015-07-27 21:00

文本相似度算法(余弦定理)

最近由于工作项目，需要判断两个txt文本是否相似，于是开始在网上找资料研究，因为在程序中会把文本转换成String再做比较，所以最开始找到了这篇关于 距离编辑算法 Blog写的非常好，受益匪浅。      于是我决定把它用到项目中，来判断两个文本的相似度。但后来实际操作发现有一些问题：直接说就是查询一本书中的相似章节花了我7、8分钟；这是我不能接受……      于是停下来仔细分析发现，这种算法在
wenyusuran·2015-06-22 15:00

基于文本向量空间模型的文本聚类算法

基于文本向量空间模型的文本聚类算法@[vsm|向量空间模型|文本相似度]本文源地址http://www.houzhuo.net/archives/51.htmlvsm概念简单，把对文本内容的处理转化为向量空间中的向量计算
Cins侯卓·2015-06-22 11:50

利用word分词提供的文本相似度算法来辅助记忆英语单词

本文实现代码：利用word分词提供的文本相似度算法来辅助记忆英语单词 本文使用的英语单词囊括了几乎所有的考纲词汇共18123词： /** * 考纲词汇 * @return */ public
yangshangchuan·2015-06-03 19:00

利用word分词提供的文本相似度算法来辅助记忆英语单词

本文实现代码：利用word分词提供的文本相似度算法来辅助记忆英语单词 本文使用的英语单词囊括了几乎所有的考纲词汇共18123词： /** * 考纲词汇 * @return */ public
yangshangchuan·2015-06-03 19:00

利用word分词提供的文本相似度算法来辅助记忆英语单词

本文实现代码：利用word分词提供的文本相似度算法来辅助记忆英语单词 本文使用的英语单词囊括了几乎所有的考纲词汇共18123词： /** * 考纲词汇 * @return */ public
yangshangchuan·2015-06-03 19:00

利用word分词提供的文本相似度算法来辅助记忆英语单词

本文实现代码：利用word分词提供的文本相似度算法来辅助记忆英语单词 本文使用的英语单词囊括了几乎所有的考纲词汇共18123词： /** * 考纲词汇 * @return */ public
yangshangchuan·2015-06-03 19:00

基于word分词提供的文本相似度算法来实现通用的网页相似度检测

实现代码：基于word分词提供的文本相似度算法来实现通用的网页相似度检测 运行结果： 检查的博文数：128 1、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：Simple=
yangshangchuan·2015-06-01 16:00

基于word分词提供的文本相似度算法来实现通用的网页相似度检测

实现代码：基于word分词提供的文本相似度算法来实现通用的网页相似度检测 运行结果： 检查的博文数：128 1、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：Simple=
yangshangchuan·2015-06-01 16:00

基于word分词提供的文本相似度算法来实现通用的网页相似度检测

实现代码：基于word分词提供的文本相似度算法来实现通用的网页相似度检测 运行结果： 检查的博文数：128 1、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：Simple=
yangshangchuan·2015-06-01 16:00

基于word分词提供的文本相似度算法来实现通用的网页相似度检测

实现代码：基于word分词提供的文本相似度算法来实现通用的网页相似度检测 运行结果： 检查的博文数：128 1、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：Simple=
yangshangchuan·2015-06-01 16:00

利用word分词提供的文本相似度算法来辅助记忆英语单词

本文实现代码：利用word分词提供的文本相似度算法来辅助记忆英语单词本文使用的英语单词囊括了几乎所有的考纲词汇共18123词：/**  * 考纲词汇  * @return  */ public static
杨尚川·2015-05-29 12:00

基于word分词提供的文本相似度算法来实现通用的网页相似度检测

实现代码：基于word分词提供的文本相似度算法来实现通用的网页相似度检测运行结果：检查的博文数：1281、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：Simple=0.968589Cosine
杨尚川·2015-05-28 20:00

利用word分词来计算文本相似度

word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity
yangshangchuan·2015-05-20 06:00

利用word分词来计算文本相似度

word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity
yangshangchuan·2015-05-20 06:00

利用word分词来计算文本相似度

word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity
yangshangchuan·2015-05-20 06:00

利用word分词来计算文本相似度

word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity
yangshangchuan·2015-05-20 06:00

利用word分词来计算文本相似度

word分词提供了多种文本相似度计算方式：方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度实现类：org.apdplat.word.analysis.CosineTextSimilarity
杨尚川·2015-05-20 06:00

SimHash算法

对于文本相似度的计算，传统的方法是使用向量空间模型（VectorSpaceModel），即VSM，VSM计算文本相似度的方法是这样的：先对文本进行分词，提取出特征词，然后建立文本向量，把相似度的计算转化成某种特征向量距离的计算
ACdreamers·2015-03-26 21:00

计算文本相似度-java实现

源代码：Computeclass.java:/** *@authorCaiyong *@version1.0 * **/ packagepack; importjava.text.NumberFormat; importjava.util.Locale; publicclassComputeclass{ /* *计算相似度 **/ publicstaticdoubleSimilarDegre
caiandyong·2015-03-13 20:00

如何比较两个文本的相似度 .

目标 尝试了一下把PageRank算法结合了文本相似度计算。直觉上是想把一个list里，和大家都比较靠拢的文本可能最后的PageRank值会比较大。
eric_hwp·2015-03-09 16:00

主题模型TopicModel：隐含狄利克雷分布LDA

、吴恩达和Jordan,MichaelI于2003年提出，目前在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。LDA是一种典型的词袋模型
-柚子皮-·2015-01-12 21:07

搜索引擎源码及流程

对从网络上抓取到的网页进行处理：建立网络库，分词，去重，if-tdf计算权重，归一化，然后根据查询词将文本相似度从高到低的依次返回给客户第一阶段：python网络爬虫抓取网页，并存盘第二阶段：对磁盘上的网页文件建立网页库
aa838260772·2014-10-04 13:00

文本相似度计算-google的simHash汉明距离

阅读更多一、概述针对文本相似性计算，很多开发朋友首先想到的应该是使用向量空间模型VSM（VectorSpaceModel）。使用VSM计算相似度，先对文本进行分词，然后建立文本向量，把相似度的计算转换成某种特征向量距离的计算，比如余弦角、欧式距离、Jaccard相似系数等。这种方法存在很大一个问题：需要对文本两两进行相似度比较，无法扩展到海量文本的处理。想想像Google这种全网搜索引擎，收录了上
dengqsintyt·2014-07-22 17:00

文本相似度计算-google的simHash汉明距离

一、概述    针对文本相似性计算，很多开发朋友首先想到的应该是使用向量空间模型VSM（VectorSpaceModel）。使用VSM计算相似度，先对文本进行分词，然后建立文本向量，把相似度的计算转换成某种特征向量距离的计算，比如余弦角、欧式距离、Jaccard相似系数等。这种方法存在很大一个问题：需要对文本两两进行相似度比较，无法扩展到海量文本的处理。想想像Google这种全网搜索引擎，收录了上
dengqsintyt·2014-07-22 17:00

文本相似度计算-google的simHash汉明距离

一、概述    针对文本相似性计算，很多开发朋友首先想到的应该是使用向量空间模型VSM（VectorSpaceModel）。使用VSM计算相似度，先对文本进行分词，然后建立文本向量，把相似度的计算转换成某种特征向量距离的计算，比如余弦角、欧式距离、Jaccard相似系数等。这种方法存在很大一个问题：需要对文本两两进行相似度比较，无法扩展到海量文本的处理。想想像Google这种全网搜索引擎，收录了上
dengqsintyt·2014-07-22 09:00

文本相似度计算-编辑距离

阅读更多一、概念编辑距离：编辑距离，又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。如：将sailn一字转成failing：sailn--->failn:(s->f)插入，删除sailn--->failin:(+i)插入sailn--->failing:(+g)插入则：sailn与f
dengqsintyt·2014-07-20 22:00

文本相似度计算-编辑距离

一、概念 编辑距离：编辑距离，又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。 如：将sailn一字转成failing： sailn--->failn:   (s->f)插入，删除 sailn--->failin:  (+i)  
dengqsintyt·2014-07-20 22:00

java文本相似度计算(Levenshtein Distance算法(中文翻译：编辑距离算法))----代码和详解

算法代码实现:packagecom.util;publicclassSimFeatureUtil{privatestaticintmin(intone,inttwo,intthree){intmin=one;if(two#include//****************************//Getminimumofthreevalues//*************************
张小凡vip·2014-07-04 17:55

java文本相似度计算(Levenshtein Distance算法(中文翻译：编辑距离算法))----代码和详解

算法代码实现:packagecom.util; publicclassSimFeatureUtil{ privatestaticintmin(intone,inttwo,intthree){ intmin=one; if(two #include //**************************** //Getminimumofthreevalues //**************
q383965374·2014-07-04 17:00

Python 文本挖掘：使用gensim进行文本相似度计算

那么Python里面有计算文本相似度的程序包
fennvde007·2014-06-23 11:00

几种文本相似度算法的C++实现

1、最小编辑距离namespacelevenshtein{boolcompare_char_(charc1,charc2){returnc1==c2;}size_tins_(charc){return1;}size_tdel_(charc){return1;}size_tsub_(charc1,charc2){returncompare_char_(c1,c2)?0:2;}size_tcompar
fdsdfdsf·2014-05-23 18:37

python实现的文本相似度算法（余弦定理）

  只对汉字进行相似度分析，以单个字为向量，然后每个字在章节中出现的次数，便是以此字向量的值。现在我们假设：章节1中出现的字为：Z1c1,Z1c2,Z1c3,Z1c4……Z1cn；它们在章节中的个数为：Z1n1,Z1n2,Z1n3……Z1nm；章节2中出现的字为：Z2c1,Z2c2,Z2c3,Z2c4……Z2cn；它们在章节中的个数为：Z2n1,Z2n2,Z2n3……Z2nm；其中，Z1c1和Z2
wfugv·2014-05-20 10:00

基于Map-Reduce的相似度计算

文本相似度的计算一般先使用VSM（向量空间模
wbj0110·2014-04-29 15:00

基于Map-Reduce的相似度计算

文本相似度的计算一般先使用VSM（向量空间模
wbj0110·2014-04-29 15:00

基于Map-Reduce的相似度计算

文本相似度的计算一般先使用VSM（向量空间模
wbj0110·2014-04-29 15:00
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他