文本相似度

文本相似度 -- 最小编辑距离算法

最小编辑距离算法是计算两个字符串之间相互转换最少要经过多少次操作(增加,移除,替换)的算法算法原理这个算法计算的是将s[1…i]转换为t[1…j]（例如将beauty转换为batyu）所需最少的操作数（也就是所谓的编辑距离），这个操作数被保存在d[i,j]中。例如我们将beauty转换为空字符串，我们需要进行的操作数为beauty的长度（所进行的操作为将beauty所有的字符丢弃）。我们对字符可能
帅气的小雅君·2017-08-10 22:18

基于字符的卷积神经网络实现文本分类（char-level CNN）-论文详解及tensorflow实现

专栏前三篇文章讲了文本相似度方向的论文，本文实现论文为TextUnderstandingfromScratch和Character-levelConvolutionalNetworksforTextClassification
北邮张博·2017-07-21 11:48

gensim doc2vec + sklearn kmeans 做文本聚类

前一篇用doc2vec做文本相似度，模型可以找到输入句子最相似的句子，然而分析大量的语料时，不可能一句一句的输入，语料数据大致怎么分类也不能知晓。于是决定做文本聚类。选择kmeans作为聚类方法。
老笨妞·2017-07-20 10:52

用gensim doc2vec计算文本相似度

最近开始接触gensim库，之前训练word2vec用Mikolov的c版本程序，看了很久才把程序看明白，在gensim库中，word2vec和doc2vec只需要几个接口就可以实现，实在是方便。python，我越来越爱你了。这个程序很简单，直接上程序了。#coding:utf-8importsysimportgensimimportsklearnimportnumpyasnpfromgensim
老笨妞·2017-07-14 16:14

基于同义词词林的文本相似度算法研究语料库

本文是基于大学排行榜指标体系进行实验分析的，从指标体系中获取10个指标进行数据实验分析，数据的采集是使用2017年大学排名前100所高校的高校简介进行文本分析，下面是100所高校简介的链接地址：编号高校高校简介URL地址1北京大学http://www.pku.edu.cn/about/index.htm2清华大学http://www.tsinghua.edu.cn/publish/newthu/n
墨竹 | kevinelstri·2017-07-06 10:19

文本相似度计算的几个距离公式（欧氏距离、余弦相似度、Jaccard距离、编辑距离）

本文主要讲一下文本相似度计算的几个距离公式，主要包括：欧氏距离、余弦相似度、Jaccard距离、编辑距离。距离计算在文本很多场景下都可以用到，比如：聚类、K近邻、机器学习中的特征、文本相似度等等。
mpk_no1·2017-06-08 21:14

文本相似度Shingling和Minhash算法

文本相似度Shingling和Minhash算法目录：1、测试案例：2、程序流程：3、源代码示例：4、运行结果：1、测试案例：采用Shinling及Minhash技术分析以下两段文本的Jaccard相似度
Remoa·2017-06-06 23:52

文本相似度-bm25算法原理及实现

原理BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。BM25算法的一般性公式如下：其中，Q表示Query，qi表示Q解析之后的一个语素（对中文而言，我们可以把对Query的分词作为语素分析，每个词看成语素
wt321088·2017-06-04 00:00

自然语言处理入门（2）——中文文本处理利器snownlp

如中文分词、词性标注、情感分析、文本分类、提取文本关键词、文本相似度计算等。
飞鸟2010·2017-05-31 22:08

自然语言处理入门（1）——文本相似度计算

文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用。文本相似度常用的计算方法有TF-IDF、LSI、LDA等。
FlySky1991·2017-05-27 23:00

重写gensim.word2vec的文本相似度匹配函数（wmdistance）

1.为什么要重写因为在Django上莫名其妙的不能importgensim。从而不能fromgensim.modelsimportWord2Vec。不能load_model.word2vec_model.wmdistance（sentence1,sentence2）。因此根据原码更改了引入gensim包的部分内容。2.改写后的代码importpyemdfromgensim.corpora.dict
樱夕夕·2017-05-11 20:55

文本相似度算法（一）：LCS动态规划

#include#include#include#include#includeusingnamespacestd;chars1[100];chars2[100];intdp[105][105]={0};ints1_len;ints2_len;/*求出两文件的最长子序列*/intLCS(){s1_len=strlen(s1);s2_len=strlen(s2);coutdp[i][j-1])Pri
LaoJiu_·2017-04-29 15:42

word2Vec--(1) nltk实现简单的切词，情感分析，文本相似度（TF-IDF）

Nltkfromnltk.corpusimportbrown(1)brown.categories()该文件下的文章目录(2)len(brown.sents())(3)len(brown.words())tokenizer分词nltk.tokenize(sentence)okenize：返回词语在原文的起止位置注意，输入参数只接受unicodeIn[12]:print"这是默认模式的tokeniz
此间_沐自礼·2017-04-21 15:48

（wyh267）文本相似度计算...

minhash+lsh方法对文档相似性进行分析，http://blog.csdn.net/u014686180/article/details/45743391作者：Username_Password_R参考2：文本相似度计算
大圣2017·2017-04-16 10:46

python实现机器学习中的各种距离计算及文本相似度算法

在自然语言处理以及机器学习的分类或者聚类中会涉及到很多距离的使用，各种距离的概念以及适用范围请自行百度或者参考各种距离importnumpyasnpimportmath#依赖包numpy、python-Levenshtein、scipydefEuclidean(vec1,vec2):npvec1,npvec2=np.array(vec1),np.array(vec2)returnmath.sqrt
AlanConstantineLau·2017-04-03 22:07

文本相似度算法的整理和python实现

中文文本相似度计算的算法：longestcommonsubsequencehttps://rosettacode.org/wiki/Longest_common_subsequence#Python1、
xiaoranone·2017-03-28 14:41

短文本语义比对调研

二．方案调研1.余弦计算短文本相似度度量a)步骤（1）找出两个短文本的关键词；（2）每篇文章各取出若干个关键词，合并成一个集合，计算每篇文章对于这个集合中的词的词频（3）生成两篇文章各自的词频向量；（4
现实改不了哥·2017-03-15 17:06

算法学习（2）--- 谷歌PageRank算法

先对搜索关键词进行分词，如“技术社区”分词为“技术”和“社区”；根据建立的倒排索引返回同时包含分词后结果的网页；将返回的网页相关性（类似上篇文章所讲的文本相似度）网页，相关性越高排名越靠前（2）怎么处理垃圾网页
whenif·2017-01-09 00:28

文本相似度余弦相似度算法原理

余弦相似度基本思路是：如果这两句话的用词越相似，它们的内容就应该越相似。因此，可以从词频入手，计算它们的相似程度。第一步，预处理主要是进行中文分词和去停用词，分词。第二步，列出所有的词。第三步，计算词频。第四步，写出词频向量。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。余弦相似度缺陷这类算法没有很好地解决文本数据中存在的自然语言问题，即同义词和多义词。这样对于
lijieshare·2016-12-29 22:02

pythonNLP-文本相似度计算实验汇总

本文总结我写实验时文本相似度计算的代码。任务是：给定语料库，计算任意两篇语聊的相似度。输入是语料库，输出是整个语料库的相似度矩阵。
Kang_TJU·2016-12-20 23:06

pythonNLP-文本相似度计算-Demo

参照博客[我爱自然语言处理]里面的如何计算两个文本的相似度系列，把代码自己实现了一遍，对整个流程有了了解。纯属个人记录，新手想学习可直接去上面的博客学习，讲的非常好。代码#-*-coding:utf-8importgensimfromgensimimportcorpora,models,similaritiesimporttracebackdocuments=["Shipmentofgolddam
Kang_TJU·2016-12-20 15:21

CNN在NLP领域的应用（2） 文本语义相似度计算

本文的内容是紧接着上一篇文章的内容，上一篇文章讲到CNN在文本分类领域的应用，本文将讨论其在文本相似度计算方面的应用，文本相似度可以用于搜索引擎、文本去重、文本挖掘、推荐系统等多个领域，也是NLP中需要处理的一类任务
crazy-ye·2016-12-20 13:44

文本聚类总结

这里会用到TF/IDF权重，用余弦夹角计算文本相似度，用方差计算两个数据间欧式距离，用k-means进行数据聚类等数学和统计知识。关于这些概念可以去google，或者参考文本后的参考链接。
u013378306·2016-09-28 09:00

【Spark Mllib】TF-IDF&Word2Vec——文本相似度

http://blog.csdn.net/u011239443/article/details/517286591从数据中抽取合适的特征1.1TF-IDF短语加权表示TF-IDF公式的含义是:在一个文档中出现次数很多的词相比出现次数少的词应该在词向量表示中得到更高的权值。而IDF归一化起到了减弱在所有文档中总是出现的词的作用。最后的结果就是,稀有的或者重要的词被给予了更高的权值,而更加常用的单词(
卓寿杰_SoulJoy·2016-06-21 16:02

计算文本相似度

计算文本相似度推荐2收藏简单讲解上一章有提到过[基于关键词的空间向量模型]的算法，将用户的喜好以文档描述并转换成向量模型，对商品也是这么处理，然后再通过计算商品文档和用户偏好文档的余弦相似度。
starzhou·2016-06-02 16:00

BM25算法的实现过程

最近需要帮别人写一个BM25的文档，写完顺便上传了BM25是一个计算文本相似度的算法1.BM25公式：BM25是通过q和s中的公共词汇进行相似度计算的算法，其中q:待测试文档s：需要进行相似度比较的文档
Programmer_CJC·2016-05-18 13:53

如何实现Solr自定义评分查询

lucene/solr/elasticsearch自带的评分查询都是没问题的，当然这也仅仅限于简单的业务或者对搜索排名不敏感的场景中，假设业务方要求有若干业务因子要干扰到排名，同时还不能放弃框架本身的文本相似度评分
qindongliang1922·2016-05-14 09:16

如何实现Solr自定义评分查询

lucene/solr/elasticsearch自带的评分查询都是没问题的，当然这也仅仅限于简单的业务或者对搜索排名不敏感的场景中，假设业务方要求有若干业务因子要干扰到排名，同时还不能放弃框架本身的文本相似度评分
qindongliang1922·2016-05-12 17:00

如何实现Solr自定义评分查询

lucene/solr/elasticsearch自带的评分查询都是没问题的，当然这也仅仅限于简单的业务或者对搜索排名不敏感的场景中，假设业务方要求有若干业务因子要干扰到排名，同时还不能放弃框架本身的文本相似度评分
qindongliang1922·2016-05-12 17:00

Google开源word2vec，文本相似度计算工具

Google开源word2vec，文本相似度计算工具谷歌已经使用DeepLearning技术开发了许多新方法来解析语言，目前，谷歌开源了一款基于DeepLearning的学习工具——word2vec，这是首款面向大众的
Real_Myth·2016-04-27 09:00

文本相似度计算-JaccardSimilarity和哈希签名函数

文本相似度计算的应用场景过滤相似度很高的新闻，或者网页去重考试防作弊系统论文抄袭检查光第一项的应用就非常广泛。文本相似度计算的基本方法
wyh817·2016-04-26 01:00

余弦相似度

相应的相似度也越高二、主要应用最常见的应用就是计算文本相似度。将两个文本根据他们词，建立俩个向量，计算这两个向量的余弦值，就可以知道两个文本在统计学方法中他们的相似度情况。
昵称诚诚·2016-03-20 13:45

SimRank--基于结构的相似度度量方法学习笔记

AMeasureofStructural-ContextSimilarity∗1.目前主要有两大类相似性度量方法：    (1)基于内容(content-based)的特定领域(domain-specific)度量方法，如匹配文本相似度
u013527419·2016-03-20 11:00

word2vec中文相似词计算和聚类的使用说明及c语言源码

word2vec相关基础知识、下载安装参考前文：word2vec词向量中文文本相似度计算目录：word2vec使用说明及源码介绍1.下载地址2.中文语料3.参数介绍4.计算相似词语5.三个词预测语义语法关系
Eastmount·2016-02-20 01:36

word2vec中文相似词计算和聚类的使用说明及c语言源码

word2vec相关基础知识、下载安装参考前文：word2vec词向量中文文本相似度计算目录：word2vec使用说明及源码介绍1.下载地址2.中文语料3.参数介绍4.计算相似词语5.三个词预测语义语法关系
Eastmount·2016-02-20 01:00

word2vec词向量训练及中文文本相似度计算

本文是讲述如何使用word2vec的基础教程，文章比较基础，希望对你有所帮助！官网C语言下载地址：http://word2vec.googlecode.com/svn/trunk/官网Python下载地址：http://radimrehurek.com/gensim/models/word2vec.html1.简单介绍参考：《Word2vec的核心架构及其应用·熊富林，邓怡豪，唐晓晟·北邮2015
Eastmount·2016-02-18 00:41

word2vec词向量训练及中文文本相似度计算

本文是讲述如何使用word2vec的基础教程，文章比较基础，希望对你有所帮助！官网C语言下载地址：http://word2vec.googlecode.com/svn/trunk/官网Python下载地址：http://radimrehurek.com/gensim/models/word2vec.html1.简单介绍参考：《Word2vec的核心架构及其应用·熊富林，邓怡豪，唐晓晟·北邮2015
Eastmount·2016-02-18 00:00

word2vec词向量训练及中文文本相似度计算

本文是讲述如何使用word2vec的基础教程，文章比较基础，希望对你有所帮助！官网C语言下载地址：http://word2vec.googlecode.com/svn/trunk/官网Python下载地址：http://radimrehurek.com/gensim/models/word2vec.html1.简单介绍参考：《Word2vec的核心架构及其应用·熊富林，邓怡豪，唐晓晟·北邮2015
Eastmount·2016-02-18 00:00

文本相似度-BM25算法

BM25isabag-of-wordsretrievalfunctionthatranksasetofdocumentsbasedonthequerytermsappearingineachdocument,regardlessoftheinter-relationshipbetweenthequerytermswithinadocument(e.g.,theirrelativeproximity
Django's blog·2016-02-16 18:00

文本相似度算法

1.信息检索中的重要发明TF-IDF1.1TFTermfrequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N个该关键词，则（公式1.1-1）为该关键词在这篇文章中的词频。1.2IDFInversedocumentfrequency指逆向文本频率，是用于衡量关键词权重的指数，由公式（公式1.2-1）计算而得，其中D为文章总数，Dw为关键词出现过的文章数。2.基于
junli_chen·2015-12-14 20:18

Python 文本挖掘：使用gensim进行文本相似度计算

那么Python里面有计算文本相似度的程序包吗，恭喜你，不仅有，而且很好很强大。这是从52nlp大神的博客里面发现的，其实具体的处理流程和程序和他的基本一致，只要仔细研读他的这几篇博客
chencheng126·2015-11-27 14:00

局部敏感Hash

LSH可以理解为一种衡量文本相似度的算法，特点是散列前的相似点经过哈希之后，也能够在一定程度上相似，并且具有一定的概率保证。其有坚实的理论依据(98年左右理论就提出来了，99年有第一版实
·2015-11-21 04:00

simhash与Google的网页去重

simhash与Google的网页去重 leoncom 搜索技术 4 comments 前几天去吃葫芦头的路上，大飞哥给详细的讲解了他在比较文本相似度实验时对
·2015-11-13 21:14

TF_IDF模型和文本相似度的计算

TF_IDF模型和文本相似度的计算 - icelovely的专栏 - 博客频道 - CSDN.NET TF_IDF模型和文本相似度的计算 分类： 文本检索 2012
·2015-11-13 20:33

蛙蛙推荐：蛙蛙教你文本聚类 - 蛙蛙王子 - 博客园

这里会用到TF/IDF权重，用余弦夹角计算文本相似度，用方差计算两个数据间欧式距离，用k-means进行数据聚类等数学和统计知识。关于这
·2015-11-13 19:52

自己实现文本相似度算法（余弦定理） - 呼吸的Java - 开源中国社区

自己实现文本相似度算法（余弦定理） - 呼吸的Java - 开源中国社区 自己实现文本相似度算法（余弦定理） 52人收藏此文章, 我要收藏 发表于9个月前(2012-03-04 16:59)
·2015-11-13 19:12

百科词条比较(4)

文本相似度 相似度的度量方法有很多，例如：余弦相似度、欧几里得距离、皮尔逊相关度、jaccard系数、曼哈顿距离…… 相似度是一个数值，所以不管是什么方法，首先都要把需要比较的两个文本量化，映射为空间中的两个点
·2015-11-13 08:50

转：Python 文本挖掘：使用gensim进行文本相似度计算

Python使用gensim进行文本相似度计算   转于：http://rzcoding.blog.163.com/blog/static/2222810172013101895642665
·2015-11-13 07:34

文本相似度算法

文本相似度算法 1.信息检索中的重要发明TF-IDF 1.1TF Term frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N个该关键词，则 （公式1.1-
·2015-11-12 23:36

文本相似度算法——空间向量模型的余弦算法和TF-IDF

1.信息检索中的重要发明TF-IDF    TF-IDF是一种统计方法，TF-IDF的主要思想是，如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TF词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数。IDF反文档频率(Inverse Document Frequenc
·2015-11-12 21:36
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他