文本相似度

【无标题】

Paddle2.1.2安装Paddle2.2下载并安装PaddleOCR2.2.1下载PaddleOCR工程代码2.2.2安装第三方库2.3运行代码三、文字检测、文字识别原理3.1文本检测3.2文本识别3.3文本相似度
2651059490·2022-12-22 10:21

DSSM原理解读与工程实践

推荐算法实践DSSM原理解读与工程实践一、原理DSSM(DeepStructuredSemanticModel)，由微软研究院提出，利用深度神经网络将文本表示为低维度的向量，应用于文本相似度匹配场景下的一个算法
算法工程师进阶·2022-12-15 19:53

基于隐马尔科夫模型文本相似度问题研究

文本相似度是表示两个或者多个文本之间匹配程度的一个度量参数，相似度数值大，说明文本相似度高；反之文件相似程度就低。文本相似度的精确计算问题是进行信息处理的关键。
Mr.Gavin·2022-12-14 06:49

文本相似度之LSI

在使用VSM做文本相似度计算时，其基本步骤是：1）将文本分词，提取特征词s:（t1,t2,t3,t4）2）将特征词用权重表示，从而将文本表示成数值向量s:(w1,w2,w3,w4)，权重表示的方式一般使用
FB1024·2022-12-12 16:11

常见的nlp 自然语言处理模型

最近需要处理有关语言的模型，因此整理了一份语言处理相关的方法链接LSA、PLSALanguagesenseanalyse,potentialLanguagesenseanalyse潜在语义分析–文本稀疏表示–>文本相似度度量
梦想闹钟·2022-12-09 23:14

常见文本相似度计算方法简介

0引言在自然语言处理任务中，我们经常需要判断两篇文档是否相似、计算两篇文档的相似程度。比如，基于聚类算法发现微博热点话题时，我们需要度量各篇文本的内容相似度，然后让内容足够相似的微博聚成一个簇；在问答系统中，我们会准备一些经典问题和对应的答案，当用户的问题和经典问题很相似时，系统直接返回准备好的答案；在监控新闻稿件在互联网中的传播情况时，我们可以把所有和原创稿件相似的文章，都看作转发，进而刻画原创
lipengyuer·2022-12-08 12:10

电影推荐系统（数据预处理+模型训练+预测）

那我们只需要将doc2vec模型训练出来，将文本向量化，比较文本相似度，输出排行靠前的就行了。项目目录数据预处理  网上关于电影简介的数据非常少，但是我们可以
haohui_H·2022-12-07 16:51

余弦距离的应用 -- cosine distance

当一对文本相似度的长度差距很大、但内容相近时，如果使用词频或者词向量作为特征，它们在特征空间中的欧氏距离通常很大；而如果使用余弦相似度的话，它们之间的夹角可
小孟Tec·2022-12-07 13:55

相似度计算之(二)——余弦距离

将数据看成空间中的点时，评价远近可以用欧式距离或余弦距离一般可用于文本间的相似度计算，但也不是绝对的余弦距离计算步骤：以余弦距离计算文本相似度为例，具体说明其计算过程：余弦相似度算法：一个向量空间中两个向量夹角间的余弦值作为衡量两个个体之间差异的大小
砥砺前行∞·2022-12-07 13:25

【分数0.864】千言数据集：文本相似度

背景文本相似度旨在识别两段文本在语义上是否相似。文本相似度在自然语言处理领域是一个重要研究方向，同时在信息检索、新闻推荐、智能客服等领域都发挥重要作用，具有很高的商业价值。
不休的turkeymz·2022-12-06 14:27

自然语言处理系列三十一》文本相似度算法》余弦相似度》Python代码实现

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《分布式机器学习实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列三十一文本相似度算法余弦相似度
陈敬雷-充电了么-CEO兼CTO·2022-12-06 07:06

【NLP】余弦定理计算文本相似度

一、余弦相似概述余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。结果是与向量的长度无关的，仅仅与向量的指向方向相关。余弦相似度通常用于正空间，因此给出的值为-1到1之间。例如在信息检索中，每个词项被赋予不同的维度，而一个维度由一个向量表示，其各
风度78·2022-12-06 07:27

NLP算法岗一年半的工作总结--聊聊什么才是NLP算法工程师的核心竞争力

首发公众号:【NLP从入门到放弃】--日常更新技术分享先简单自我介绍一下，我任职在一家社交公司，做NLP算法工程师，主要做文本分类，序列标注，文本相似度方向的工作，也做过搜索/推荐方向的需求。
stay_foolish12·2022-12-05 19:00

文本相似度计算python lda_借助LDA主题分析的短文本相似性计算 - 综述帖

目标：针对给定输入文本与文本库，计算得出文本库中与输入文本最相似的文本对于人类，两句话的相似性一般都从语义上进行考虑，大白话说就是”这两句话说的是同一件事儿/同一个意思“。相似的句子可能会有相似的语法。对于当前的计算机来说，已经用标点符号等区分开了句子与句子，但如何理解、表达句子的意思是个难题，也就是需要人工定义语义的概念。另外，人类语言世界中的句子通常都有一定的使用环境，但到了计算机系统中全都统
weixin_39674028·2022-12-04 12:15

【Python自然语言处理】计算文本相似度实例（使用difflib，fuzz，余弦三种计算方式 附源码）

需要全部代码请点赞关注收藏后评论区留言私信~~~下面列举通过余弦相似度公式和标准库分别计算不同文本信息相似度的实例，首先需要对中文进行分词，通过jieba导入分词库文件，使用Python标准库计算相似度，导入两种不同的相似度计算库difflib和fuzz，除此之外，还自定义了基于余弦相似度公式的相似度计算方法接着定义余弦相似度计算函数，函数参数部分传入需要比较的两个文本信息，先对文本进行向量化处理
showswoller·2022-12-04 11:52

词语之间的语义相似度怎么算_全面梳理文本相似度/匹配-附代码-深度好文-不容错过...

微信公众号：NLP从入门到放弃本文涉及到的代码：https://github.com/DA-southampton/NLP_ability/blob/master/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/%E6%96%87%E6%9C%AC%E5%8C%B9
weixin_39958248·2022-12-02 17:27

NLP常用损失函数代码实现——SoftMax/Contrastive/Triplet/Similarity

NLP常用损失函数代码实现  NLP常用的损失函数主要包括多类分类（SoftMax+CrossEntropy）、对比学习（ContrastiveLearning）、三元组损失（TripletLoss）和文本相似度
华师数据学院·王嘉宁·2022-12-02 17:48

文本相似度实战（kaggle）

Kaggle：QuoraQuestionPairs：https://blog.csdn.net/sinat_33741547/article/details/80655906QuoraQuestionPairs竞赛冠军经验分享：采用4层堆叠，经典模型比较给力：https://www.sohu.com/a/223771528_114877https://www.kaggle.com/amoyyean
a flying bird·2022-12-01 00:26

数据挖掘基础-2.中文分词

一、中文分词分词是文本相似度的基础，不同于英文分词，中文没有空格，所以在进行自然语言处理处理前，需要先进行中文分词。
闲人勿-·2022-11-24 10:36

NLP基本功-文本相似度 | AI产品经理需要了解的AI技术通识

1背景介绍因为之前做过个性化推荐相关的项目，最近产品的其中一个模块也需要用到文本相似度，趁此机会做一个全面的整理。
hanniman_·2022-11-24 10:56

自然语言处理（NLP）

自然语言处理的主要技术范畴1、语义文本相似度分析语义文本相似度分析是对两段文本的意义和本质之间的相似度进行分析的过程。
oogogogogo·2022-11-21 17:28

百度千言-中文文本相似度实战

文章目录百度千言-中文文本相似度实战任务1：报名比赛，下载比赛数据集并完成读取任务2：对句子对提取TFIDF以及统计特征，训练和预测任务3：加载中文词向量，自己训练中文词向量任务4：使用中文词向量完成mean
Litra LIN·2022-11-21 14:10

大篇幅文件计算相似度

文本相似度算法之-simhash原文参考链接：https://zhuanlan.zhihu.com/p/81026564模糊匹配算法是什么？
等景，不如找景·2022-11-21 10:16

nlp知识点总结

目录拾壹：文档表示与相似度计算一、词的表示1.独热表示2.词频-逆文档频率（TF-IDF）3.分布式表示与潜在语义索引LSI4.词嵌入表示二、文档表示1.词袋表示2.主题模型三、文本相似度计算拾贰、信息抽取
m0_59989429·2022-11-21 09:35

matlab 文本相似度,图像相似性搜索的MATLAB实现

图像相似性搜索的MATLAB实现(论文11000字)摘要：随着计算机的普及率增加，用户越来越注重网络体验，同时对图像检索的要求越来越高，快速、准确是从业者和用户永恒的目标和期望。这就对图像相似性检索的计算提出了更高的要求，图像检索经历了TBRI(基于文本的图像检索)时代、CBIR(基于内容的图像检索)时代，现在进入了“以图搜图”的时代。要实现以图搜图，与图像相关的处理、存储、相似性比对及解码等技术
赢家论坛·2022-11-21 09:33

文本处理相关资料整理

github搜索文本相似度文本处理实践相关资料，包含文本特征提取（TF-IDF），文本分类，文本聚类，word2vec训练词向量及同义词词林中文词语相似度计算、文档自动摘要，信息抽取，情感分析与观点挖掘等
AI视觉网奇·2022-11-19 20:09

拆解「千言数据集：文本相似度」竞赛第一背后的故事

文本相似度旨在识别两段文本在语义上是否相似，它在自然语言处理领域是一个重要研究方向，同时在信息检索、新闻推荐、智能客服等领域都发挥重要作用。
百度-NLP·2022-11-19 17:40

余弦相似度-python实现

参考知乎上一二三冲鸭同学的博客，根据自己理解对他的方法再实现一遍～"""计算两句话的余弦相似度源文:使用余弦相似度算法计算文本相似度-一二三冲鸭的文章-知乎https://zhuanlan.zhihu.com
爆炒八酱·2022-11-17 17:48

python 余弦距离_numpy :: 计算特征之间的余弦距离

余弦距离在计算相似度的应用中经常使用，比如：文本相似度检索人脸识别检索相似图片检索原理简述下面是但是，余弦相似度和常用的欧式距离的有所区别。余弦相似度的取值范围在-1到1之间。
errommel·2022-11-15 19:45

python文本相似度计算

当计算出文本的CountVector后，通过如下几种方法计算文本相似度。
菜鸟1号——·2022-11-15 19:44

SnowNLP使用自定义语料进行模型训练（情感分析）

SnowNLPSnowNLP是一个功能强大的中文文本处理库，它囊括了中文分词、词性标注、情感分析、文本分类、关键字/摘要提取、TF/IDF、文本相似度等诸多功能，像隐马尔科夫模型、朴素贝叶斯、TextRank
艾派森·2022-11-11 07:37

文本相似度指标-基于词汇的相似度量

文章目录Jaccard相似度余弦相似度Dice系数匹配系数Jaccard相似度J(A,B)J(A,B)J(A,B)表示有限样本集之间的相似程度：J(A,B)=∣A∩B∣∣A∪B∣=∣A∩B∣∣A∣+∣B∣−∣A∩B∣J(A,B)=\frac{|A∩B|}{|A∪B|}=\frac{|A∩B|}{|A|+|B|-|A∩B|}J(A,B)=∣A∪B∣∣A∩B∣=∣A∣+∣B∣−∣A∩B∣∣A∩B∣Ja
路过的风666·2022-11-01 22:56

ERNIE快速上手，从一个文本相似度计算任务开始

点击左上方蓝字关注我们项目背景与相关介绍PaddleNLP是飞桨生态文本领域核心库，具备易用的文本领域API、中文预训练模型集、多场景的应用示例、高性能分布式训练和预测部署能力，旨在提升开发者文本领域的开发效率，并提供基于飞桨开源框架v2.x的NLP任务最佳实践。PaddleNLP链接：https://github.com/PaddlePaddle/PaddleNLP本项目主要是NLP核心技术中的
飞桨PaddlePaddle·2022-10-22 07:03

【自然语言处理（NLP）】基于PaddleNLP的短文本相似度计算

【自然语言处理（NLP）】基于PaddleNLP的短文本相似度计算作者简介：在校大学生一枚，华为云享专家，阿里云专家博主，腾云先锋（TDP）成员，云曦智划项目总负责人，全国高等学校计算机教学与产业实践资源建设专家委员会
ぃ灵彧が·2022-10-22 07:29

千言数据集：文本相似度——BERT完成NSP任务

以下学习笔记来源于Coggle30DaysofML（22年1&2月）链接：https://coggle.club/blog/30days-of-ml-202201比赛链接：https://aistudio.baidu.com/aistudio/competition/detail/45/0/task-definition了解BERT和NSPBERTBERT的全称为BidirectionalEnco
zxc123qwer·2022-10-21 07:35

自然语言处理(NLP)之使用TF-IDF模型计算文本相似度

自然语言处理(NLP)之使用TF-IDF模型计算文本相似度所用数据集：ChnSentiCorp_htl_all.csv语料库即存放稀疏向量的列表。
IT之一小佬·2022-10-21 07:33

计算文本相似度的常用算法

文章目录1.余弦相似度2.TF-IDF模型2.1词频TF的计算方法2.2反文档频率IDF的计算方法2.3TF-IDF的计算方法3.基于语义相似度的计算——DSSM4.LSI/LSA模型5.LDA模型6.编辑距离计算7.杰卡德系数计算8.Word2Vec计算9.BM25NLP、数据挖掘领域中，文本分析是一个很重要的领域，这有助于我们去让计算机理解语言的作用和使用。文本分析是数据挖掘的重要手段，利用文
氧小氢·2022-10-21 07:02

NLP之ModelScope：基于ModelScope框架的afqmc数据集利用StructBERT预训练模型的文本相似度算法实现文本分类任务图文教程之详细攻略

ModelScope之NLP：基于ModelScope框架的afqmc数据集利用StructBERT预训练模型的文本相似度算法实现文本分类任务图文教程之详细攻略目录基于ModelScope框架的afqmc
一个处女座的程序猿·2022-10-21 07:18

利用tf-idf计算文本相似度

文本相似度计算利用tf-idf计算文本相似度余弦相似度计算个体间的相似性，即将两个个体的特征向量化，通过余弦公式计算两者之间的相似性。通过计算模型公式可以明确的求出余弦相似度的值。
丁叔叔·2022-10-05 07:48

python中文相似度_基于TF-IDF、余弦相似度算法实现文本相似度算法的Python应用

基于TF-IDF算法、余弦相似度算法实现相似文本推荐——文本相似度算法，主要应用于文本聚类、相似文本推荐等场景。
weixin_39895283·2022-10-05 07:16

基于TF-IDF+语义相似度的长文本相似度计算

主要步骤流程：文本预处理：分词训练词向量tf-idf提取关键词并写入文档前20个词word2vec读取提取的关键词并转为词向量相似度计算。前面对word2vec的理论进行了介绍，接下来进入实战环节。实践主要分为三部分，word2vec训练，相似度计算以及训练结果展示三部分。词向量的训练：词向量的训练主要分为两部分：1、对中文语料进行数据预处理；2、利用gensim模块训练词向量。中文语料处理：在用
Steven灬·2022-10-05 07:16

详解利用基于gensim的TF-IDF算法实现基于文本相似度的推荐算法

详解利用基于gensim的TF-IDF算法实现基于文本相似度的推荐算法TF-IDF的基本原理算法思想计算公式相似度计算原理微型图书推荐案例案例背景开发工具数据预处理TF-IDF模型建立TF-IDF计算相似度计算
#码到成功#·2022-10-05 07:03

文本相似度(TF-IDF)

目录理论：文本相似度(TF-IDF)实践：利用TF-IDF计算相似文章参考链接理论：文本相似度(TF-IDF)我们在比较事物时，往往会用到“不同”，“一样”，“相似”等词语，这些词语背后都涉及到一个动作
Lei_yiyi·2022-10-05 07:02

【Python】TF-IDF 比较文本相似度

相关介绍TF-IDF算法如果某个词在给定文档中很少出现，但是在给定文档中的某一篇文章中出现的次数很大，该词在很大程度上反映了该文章的特性，我们称该词为这篇文章的关键字参考链接：http://www.ruanyifeng.com/blog/2013/03/tf-idf.html余弦相似性参考链接：http://www.ruanyifeng.com/blog/2013/03/cosine_simila
November's chopin·2022-10-05 07:31

【笔记】基于TF-IDF 算法的文本相似度以衡量技术革新

原文名称：Kelly,B.,Papanikolaou,D.,Seru,A.,andTaddy,M.,“MeasuringTechnologicalInnovationovertheLongRun”,NBERWorkingPaperNo.25266,2018原文链接：MeasuringTechnologicalInnovationovertheLongRun|NBER原载于：【MLinEcon文献推
Samgenie·2022-10-05 07:24

文本匹配、文本相似度模型之BIMPM

自然语言句子的多视角匹配github:https://github.com/daiyizheng/shortTextMatch/blob/master/src/DL_model/classic_models/models/BIMPM.py介绍本文作者提出了一个双边多视角匹配(BiMPM)模型。给定两个句子P和Q，模型首先用BiLSTM编码器对它们进行编码。接下来，我们将两个编码后的句子在两个方向P
发呆的比目鱼·2022-09-24 07:48

LSF-SCNN：一种基于 CNN 的短文本表达模型及相似度计算的全新优化模型

欢迎大家前往腾讯云社区，获取更多腾讯海量技术实践干货哦~本篇文章是我在读期间，对自然语言处理中的文本相似度问题研究取得的一点小成果。
Vincent8080·2022-09-24 07:03

NLP点滴——文本相似度

前言在自然语言处理过程中，经常会涉及到如何度量两个文本之间的相似性，我们都知道文本是一种高维的语义空间，如何对其进行抽象分解，从而能够站在数学角度去量化其相似性。而有了文本之间相似性的度量方式，我们便可以利用划分法的K-means、基于密度的DBSCAN或者是基于模型的概率方法进行文本之间的聚类分析；另一方面，我们也可以利用文本之间的相似性对大规模语料进行去重预处理，或者找寻某一实体名称的相关名称
R15010198466·2022-09-24 07:48

文本相似度

前言在自然语言处理过程中，经常会涉及到如何度量两个文本之间的相似性，我们都知道文本是一种高维的语义空间，如何对其进行抽象分解，从而能够站在数学角度去量化其相似性。而有了文本之间相似性的度量方式，我们便可以利用划分法的K-means、基于密度的DBSCAN或者是基于模型的概率方法进行文本之间的聚类分析；另一方面，我们也可以利用文本之间的相似性对大规模语料进行去重预处理，或者找寻某一实体名称的相关名称
SheenChi·2022-09-24 07:48

【DL】第3章 使用词嵌入计算文本相似度

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟在本章中
Sonhhxg_柒·2022-09-24 07:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他