文本相似度

中文短文本相似度：WMD

开篇句子相似是目前我做问句匹配的基础。这是我尝试使用词向量，以一种无监督方法去计算两个句子相似度的第二种方法。第一种方法，我尝试使用词向量的加权平均生成句向量来计算句子间的相似度，效果很一般，之后我会尝试使用不同的加权方法再次计算。有机会我会连着代码一起放出来。当然我还使用了三种不同的深度学习方法来计算相似度，之后都会以代码讲解的方式呈现。本博客没有使用任何公司的数据，也未集成到公司的任何系统中，
Ding_xiaofei·2018-10-17 12:40

文本相似度(小说去重)

之前写了爬虫爬取小说，总文件大概70G。但如果换小说网站进行爬取会重复爬取同样的小说，产生不必要的空间浪费。由于不同网站对小说命名不同，例如:小说名斗罗大陆.txt，在小说网A命名为斗罗大陆，小说B,小说C斗罗大陆全集什么的。如果从小说名来判断会有很多麻烦，并且有的小说网站小说名和小说内容严重不符，因此根据小说名来判断被否决。随着研究的深入，发现一种可行方法。一篇文章由词组成，那么不同文章的词有很
月下独奏·2018-10-15 17:46

文本相似度表示与分词

1.如何计算文本相似度？
婶婶world_peace·2018-09-27 00:19

python字符串相似度比较

利用difflib模块—实现两个字符串或文本相似度比较首先导入difflib模块importdifflib示例：Str='上海中心大厦's1='大厦's2='上海中心's3='上海中心大楼'print(
搬砖的Fish·2018-09-19 10:25

python字符串相似度比较

利用difflib模块—实现两个字符串或文本相似度比较首先导入difflib模块importdifflib示例：Str='上海中心大厦's1='大厦's2='上海中心's3='上海中心大楼'print(
搬砖的Fish·2018-09-19 10:25

文本相似度之LSI

在使用VSM做文本相似度计算时，其基本步骤是：1）将文本分词，提取特征词s:（t1,t2,t3,t4）2）将特征词用权重表示，从而将文本表示成数值向量s:(w1,w2,w3,w4)，权重表示的方式一般使用
孤狼18·2018-09-15 11:00

tfidf

NLP的应用范围：情感分析，文本相似度计算，文本分类。问题的关键在于，如何把文本表示成计算机能懂的数据形式？1.最原始的方法有两个，一个是onehot表示法，一个是频率表示法。
安琪拉的小迷妹·2018-09-13 22:53

文本相似度的方法对比

from:https://cloud.tencent.com/developer/news/218062本文作者为YvesPeirsman，是NLP领域的专家。在这篇博文中，作者比较了各种计算句子相似度的方法，并了解它们是如何操作的。词嵌入（wordembeddings）已经在自然语言处理领域广泛使用，它可以让我们轻易地计算两个词语之间的语义相似性，或者找出与目标词语最相似的词语。然而，人们关注更
shelley__huang·2018-09-10 10:44

使用余弦相似度算法计算文本相似度

在工作中一直使用余弦相似度算法计算两段文本的相似度和两个用户的相似度。一直弄不明白多维的余弦相似度公式是怎么推导来的。今天终于花费时间把公式推导出来，其实很简单，都是高中学过的知识，只是很多年没用了，都还给老师了。本文还通过一个例子演示如果使用余弦相似度计算两段文本的相似度。余弦函数在三角形中的计算公式为：在直角坐标系中，向量表示的三角形的余弦函数是怎么样的呢？下图中向量a用坐标(x1,y1)表示
小菜两碟·2018-08-31 06:00

机器学习算法总结（一）

1、TF-IDF文本相似度分析余弦相似度计算个体间的相似性，即将两个个体的特征向量化，通过余弦公式计算两者之间的相似性。通过计算模型公式可以明确的求出余弦相似度的值。
Jorocco·2018-08-30 16:29

关于word2vec及文本相似性计算

关于word2vec及文本相似性计算最近2个月主要涉及到对文本相似度计算方法的实验，用了词频词袋模型、tfidf词袋表示、word2vec表示，利用一些标注好的数据对结果进行了检验，最终还是发现tfidf
Leo蓝色·2018-08-28 17:03

文本相似度bm25算法的原理以及Python实现(jupyter notebook)

其实这个算法的原理很简单，就是将需要计算的query分词成w1，w2，…，wn，然后求出每一个词和文章的相关度，最后将这些相关度进行累加，最终就可以的得到文本相似度计算结果。
深圳湾刘能·2018-07-31 10:54

短文本相似度在线计算_短文本相似度在线比较_短文本相似度在线查询_自然语言处理_百度AI开放平台

短文本相似度计算服务能够提供不同短文本之间相似度的计算，输出的相似度是一个介于0到1之间的实数值，越大则相似度越高。
eaglepie·2018-07-19 14:19

Python相似度计算

文章目录1、相似度矩阵2、比较两集合的相似度3、编辑距离4、欧式距离和余弦距离5、TF-IDF文本相似度6、基于词向量的余弦相似度7、最长公共子串8、最长公共子序列并行计算语料下载地址1、相似度矩阵importseaborn
基基伟·2018-07-16 18:21

Python+gensim-文本相似度分析（小白进）

文章目录1、gensim使用流程2、代码实现3、过程拆解3.1、生成分词列表3.2、基于文本集建立`词典`，获取特征数3.3、基于词典建立`语料库`3.3.1、doc2bow函数3.3.2、搜索词也转成稀疏向量3.4、用语料库训练`TF-IDF模型`3.5、相似度计算4、附录1、gensim使用流程2、代码实现fromjiebaimportlcut fromgensim.similaritiesi
基基伟·2018-07-12 00:00

基于CNN和词向量的文本相似度分析

发现很多伙伴需要更详细的东西，后续更新了一下，请关注：https://blog.csdn.net/Mr_carry/article/details/95082422。1.前言众所周知，现在的时代就是海量数据暴增的时代，每天的各种聊天工具和数以亿计的网页产生了海量的人工无法高效处理的各种文字信息。由此而生，我们自然想到通过分类来减少信息检索，分类的依据就是文本之间的相似度，同时人们希望电脑能帮助人们
朱宏 宏·2018-07-11 11:14

蚂蚁金服金融大脑的挑战赛的实现代码 NLP文本相似度计算

近期做了一些NLP的研究，并基于6月份蚂蚁金服金融大脑的挑战赛，完成了文本相似度计算的验证。主要思路是基于word2vec来进行训练，并实现文本相似度的计算。
技术修行·2018-07-09 15:36

sklearn: TfidfVectorizer 中文处理及一些使用参数

TfidfVectorizer可以把原始文本转化为tf-idf的特征矩阵，从而为后续的文本相似度计算，主题模型(如LSI)，文本搜索排序等一系列应用奠定基础。
blmoistawinde·2018-06-26 17:40

用Python进行简单的文本相似度分析（重要）

转载：https://blog.csdn.net/xiexf189/article/details/79092629学习目标：利用gensim包分析文档相似度使用jieba进行中文分词了解TF-IDF模型环境：Python3.6.0|Anaconda4.3.1(64-bit)工具：jupyternotebook注：为了简化问题，本文没有剔除停用词“stop-word”。实际应用中应该要剔除停用词。
m0_37870649·2018-06-19 20:50

Python实现简单的文本相似度分析操作详解

本文实例讲述了Python实现简单的文本相似度分析操作。
番番要吃肉·2018-06-16 11:40

（NLP）基于分词标签的中文短文本相似度

基于分词标签的中文短文本相似度最近接触到了一些关于中文短文本相似度的算法，将它们总结在此：中文编辑距离基于词频的余弦相似度Pythondifflibgithub传送门：https://github.com
以笔为剑的唐吉坷德·2018-06-07 18:15

Python 中文分词 jieba（小白进）

词典2.1、默认词典2.2、添词和删词2.3、自定义词典加载2.4、使单词中的字符连接或拆分3、[jieba分词原理]4、其它4.1、并行分词4.2、[识别【带空格的词】]4.3、关键词提取4.4、[文本相似度分析
基基伟·2018-06-03 20:34

Doc2Vec,Word2Vec文本相似度 初体验。

参考资料：https://radimrehurek.com/gensim/models/word2vec.html接上篇：importjiebaall_list=jieba.cut(xl['工作内容'][0:6],cut_all=True)print(all_list)every_one=xl['工作内容'].apply(lambdax:jieba.cut(x))importtracebackde
寒月谷·2018-05-29 17:47

Doc2Vec,Word2Vec文本相似度 初体验。

参考资料：https://radimrehurek.com/gensim/models/word2vec.html接上篇：importjiebaall_list=jieba.cut(xl['工作内容'][0:6],cut_all=True)print(all_list)every_one=xl['工作内容'].apply(lambdax:jieba.cut(x))importtracebackde
寒月谷·2018-05-29 17:41

jieba分词以及word2vec词语相似度

去除标点符号，下一步开始文本相似度计算：参考文章：http://www.jb51.net/article/139690.htmfromgensim.modelsimportWord2Vecmodel=Word2Vec
寒月谷·2018-05-28 17:18

python+jieba+tfidf算法 文本相似度

gensim库，利用TFIDF算法来进行文本相似度计算，通过利用gensim库的corpora，models，similarities处理后续。
HeCCXX·2018-05-16 20:28

Python 自然语言处理（基于SnowNLP）

如中文分词词性标注情感分析文本分类提取文本关键词文本相似度计算安装：pipinstallsnownlp完成snownlp安装后，查看模块的目录结构，如图所示normal：文字转换成拼音seg：中文分词sentiment
Xy-Huang·2018-05-11 16:13

短文本相似度计算

短文本相似度计算方法最长公共子序列编辑距离相同单词个数/序列长度word2vec+余弦相似度Sentence2Vectorhttps://blog.csdn.net/qjzcy/article/details
tsf_1993·2018-05-02 20:02

中文文本相似度计算工具集

欢迎大家关注我们的网站和系列教程：http://www.tensorflownews.com/，学习更多的机器学习、深度学习的知识！一、基本工具集1.分词工具a.jieba结巴中文分词https://github.com/fxsjy/jiebab.HanLP自然语言处理中文分词词性标注命名实体识别依存句法分析关键词提取新词发现短语提取自动摘要文本分类拼音简繁http://hanlp.hankcs.
磐创 AI·2018-04-19 14:09

百度 自然语言处理API

接口名称描述lexer分词,词性标注depParser句子结构分析wordEmbedding转换为词向量dnnlm语法分析,看是否符合语言表达习惯wordSimEmbedding词语相似度simnet文本相似度
Claroja·2018-04-18 16:39

NLP文本相似度

在文本相似度的场景中无论是垂类--某一行业如旅游专业推荐的网站（参考文章），还是综合性网站都没有四海皆准的度量标准。
贫僧洗头爱飘柔·2018-03-31 11:29

浅析文本相似度

度量文本相似度包括如下三种方
Vico_Men·2018-03-17 22:29

【算法】相似度算法—文本相似度

1)Jaccard相似系数Jaccard系数主要用于计算个体间的相似度，个体的特征属性可以通过符号度量或者布尔值标识。不能通过特征属性的差异进行直接计算，只能通过特征属性是否相同进行比较。Jaccard系数只关心个体间特征属性是否相同计算步骤：1、分词处理2、把需要计算的网页内容转化为集合3、将集合和集合之间进行计算并集和交集4、计算交集数量与并集数量的比狭义jaccard相似系数：也称为雅可比相
ChenVast·2018-03-13 15:27

机器学习初试（spark 文本相似度生产实践）

近期在负责公司的POI领域，全称为pointofintrest即兴趣点，这个应用的最广泛的应该是地图行业，地图里每一个地址标注即为一个POI，在我们公司对它的含义进行了精简以契合公司业务的发展，将兴趣点集中在了餐饮及新零食相关的商户&超市等范畴。听上去这个业务只是做一些商户数据的收集校正，那为什么这个业务会牵扯到了机器学习呢？真实原因很尴尬不便多说，目前我们拿到了一些商户的数据，但是无法获取品类，
adam_go·2018-03-01 21:51

NLP snownlp 实际用例

如中文分词、词性标注、情感分析、文本分类、提取文本关键词、文本相似度计算等。
_yuki_·2018-01-26 04:48

【论文分享】APPLYING DEEP LEARNING TO ANSWER SELECTION: A STUDY AND AN OPEN TASK

后面会陆续分享几篇文本相似度、FAQ相关的论文。写的太烂，当成记事本吧，一来做一个总结，二是供以后查阅回顾。【论文概要】本论文提出了将深度学习（CNN）应用于QA系统的问答匹配。
短腿杨大嘴·2018-01-17 20:12

基于TF-IDF和余弦定理计算文本相似度进而进行分类

1.首先解释一下什么是TF-IDF。TF-IDF(TermFrequency-InverseDocumentFrequency)，汉译为词频-逆文本频率指数。一般来说，假设一篇文章中的某个词i出现的词数为Nwi，这篇文章总词数为N，则这个词对应的词频TFi=Nwi/N。逆文本频率指数IDF一般用于表示一个词的权重，其求解办法为IDFi=log(D/Dw)，这里D指的是文本总量，Dw指的是词i在Dw
Artemis_Wang·2018-01-14 20:31

求编辑距离

编辑距离是计算两个文本相似度的算法之一，以字符串为例，字符串a和字符串b的编辑距离是将a转换成b的最小操作次数，这里的操作包括三种：插入一个字符删除一个字符替换一个字符举个例子，kitten和sitting
他山之石头·2017-12-26 15:08

基于TFIDF的文档表示法

文本相似度的常用计算方法有余弦定理和Jaccard系数。
a11021103·2017-12-17 17:09

利用百度AI开放平台的语言处理基础技术（Python）

百度AI开放平台是一个年轻的平台，2017年1月发布了词法分析，评论观点对抽取，短文本相似度等5种基础技术接口。
一只柚子啊·2017-12-13 18:54

[自然语言处理] (6) 主题提取 + 文本实体标注

《word2vec词向量训练及中文文本相似度计算》简单的LDA实现：《NLP主题抽取TopicLDA代码实践gensim包代码》命名实体识别参考：http://spaces.ac.cn/archives
LeYOUNGER·2017-12-12 16:14

Java实现余弦定理计算文本相似度

Java实现余弦定理计算文本相似度相似度度量（Similarity），即计算个体间的相似程度，相似度度量的值越小，说明个体间相似度越小，相似度的值越大说明个体差异越大。
chengwangbaiko·2017-12-07 15:00

计算文本相似度方法大全-简单说

文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用。
Osborn521·2017-12-01 15:43

文本相似度simhash算法-简单说

simhash算法文本相似度就比较两个文本是否重复或者接近重复。如果在10万百万文本里面比对这该如何？最简单的做法是拿着待比较的文本和数据库中所有的文本比较一遍如果是重复的数据就标示为重复。
Osborn521·2017-11-27 17:54

计算文本相似度的几种方法

杰卡德（Jaccard）相似系数这种相似度计算方式相对简单，原理也易于理解，就是计算单词集合之间的交集和并集大小的比例，该值越大，表示两个文本越相似。在涉及到大规模并行计算时，该方法效率上有一定的优势。Jaccard相似度公式：举例：句子A：“我喜欢看电视，不喜欢看电影。”句子B：“我不喜欢看电视，也不喜欢看电影。”分词去噪后：A=（我，喜欢，看，电视，电影，不）B=（我，喜欢，看，电视，电影，也
Jack_lyp2017·2017-11-08 10:27

利用余弦相似度计算文本相似度

利用余弦相似度计算文本相似度1、Introduction针对文本相似判定，本文提供余弦相似度算法，并根据实际项目遇到的一些问题，给出相应的解决方法。
ZKYEN·2017-10-28 11:38

Python学习之路（一）环境搭建及准备

之前暑假的时候因为完成一个考核任务——使用Gensim计算文本相似度，Gensim是一个开源的第三方Python工具包，也借由这个机会，短时间内学习了Python，现在从头开始，重新梳理一下Python
gg_asd·2017-10-10 16:26

tfidf算法+余弦相似度算法计算文本相似度

TF-IDF（termfrequency–inversedocumentfrequency）是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(TermFrequency)，IDF意思是逆向文件频率(InverseDocumentFrequency)。思想：对文本进行分词，然后用tfidf算法得到文本对应的词向量，然后利用余弦算法求相似度需要的jar:je-analysis-1.5.3.j
JAVA_Drious·2017-09-13 16:56

深度学习（四）——RNN, LSTM, 神经元激活函数进阶

https://antkillerfarm.github.io/词向量word2vec/doc2vec的缺点（续）2.虽然我们一般使用word2vec/doc2vec来比较文本相似度，但是从原理来说，word2vec
antkillerfarm·2017-08-21 09:58

Kaggle文本挖掘获奖选手代码解析(一)：数据预处理

一.题目背景kaggle上这三道题目都是和文本相似度相关的，要求建模评估两个文本内容的相关度。
马尔克ov·2017-08-12 16:59
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他