向量空间模型

向量空间模型算法(Vector Space Model)

概念介绍向量空间模型（VSM：VectorSpaceModel）由Salton等人于20世纪70年代提出，并成功地应用于文本检索系统。
Winyar Wen·2019-07-20 12:44

文本表示之用空间向量模型（SVM）实现关键词—文档（网页）检索

增加查询功能：根据用户输入的单词或一句话或一段话，对其预处理后在已有的向量空间模型中进行相似度查询（类似于搜
Mr_Relu·2019-05-17 20:22

Lucene打分公式详解(TFIDFSimilarity)

本文章基于Lucene5.5，对其默认使用的打分公式(TFIDFSimilarity)进行解析一、余弦相似度算法由于网络上有很多关于VSM(向量空间模型)的解释，这里就不花费篇章做基本理论的描述了，只总结一下算法即可
黄智霖-blog·2019-04-15 21:11

LSA原理

LSALSA和传统向量空间模型(vectorspacemodel)一样使用向量来表示词(terms)和文档(documents)，并通过向量间的关系(如夹角)来判断词及文档间的关系；不同的是，LSA将词和文档映射到潜在语义空间
dzysunshine·2019-04-14 10:53

计算广告——读书笔记（二）

数据公路高速3.3离线数据处理3.4在线数据处理4.计算广告系统主要技术5.用开源工具搭建计算广告系统二、基础知识准备1.信息检索（InformationRetrieval，IR）1.1倒排索引1.2向量空间模型
Mr_哲·2019-04-05 18:29

系统学习NLP（十二）--文本表示综述

本文重点梳理现有模型，大致分为三类，即基于向量空间模型、基于主题模型和基于神经网络的方法。基于向量空间模型的方法向量空间模型是将文
Eason.wxd·2019-03-10 11:02

LSA/LSI原理以及实践

LSA（latentsemanticanalysis）潜在语义分析也可以称为LSI（latentsemanticindex）该方法和传统向量空间模型一样使用向量来表示词（iterms）和文档（documents
GrinAndBearIt·2019-03-07 09:05

使用Python实现简单的搜索引擎，完整源码

课程设计主要要求如下：结合本学期《信息检索与搜索引擎技术》课程教学内容，利用网络爬虫技术、文档倒排索引技术、向量空间模型技术、检索排序技术，编写一个搜索引擎系统，系统能够实现根据输入关键词检索出
名字不重要21·2019-03-03 18:48

GloVe: Global Vectors for Word Representation

1Introduction语言的语义向量空间模型把每个词表示为一个数值向量，这些向量是特征，可以使用在信息检索，文档分类，问答，命名实体
shelley__huang·2018-12-17 12:51

【NLP】检索模型与排序

向量空间模型：将文章使用特征向量来表示，对于文章可以使用一些特征来表达；同样的对于用户输入的query也可以使用特征向量来表示；最后使用cos函数就可以得到query和文档的相似性。
huaibei_北·2018-12-15 16:01

文本的数学表达

当取值为{0，1}时表示的就是ond-hot，取值为tf-idf时，成为向量空间模型。这里牵扯到词典的构成，亦或称为特征的选择。
笨笨的企鹅·2018-12-15 09:22

文本分类在选择机器学习模型时的特征工程

机器学习与深度学习不同，机器学习需要自己构建特征向量，并且不局限于词，这里看到一篇文章讲到一些机器学习构建词向量如下：1.向量空间模型2.LDA的主题词特征提取3.中文多类别情感分类模型中特征选择方法。
一Lu一Qiang·2018-11-28 14:18

基于SVM 的文本分类

1、SVM文本分类算法步骤如下:1)利用向量空间模型处理方法把文本数据转化为SVM分类算法能处理的形式;2)选择合适核函数，众多实验表明，一般情况下选择RBF作为核函数所得结果最好。
生命的呼喊·2018-09-20 14:33

情感分析背后的朴素贝叶斯及实现基于评论语料库的影评情感分析(附代码)

一.情感分析的介绍一句话概括情感分析:判断出一句评价/点评/影评的正/负倾向性；情感分析是一个二分类的问题,一种是可以直接判断正负,一种是可以判断情感偏向正负性的一个打分;二,词袋模型（向量空间模型）2.1
精神抖擞王大鹏·2018-08-21 00:31

机器学习笔记1 －－ 线性回归

数据－分为有标注／无标注数据，需要转化为向量空间模型VSM，供计算机使用模型－预测值y'和实际值y误差越小模型越好。
refresh&grow·2018-07-12 00:00

同义词相似度可以怎样计算

前言词语的相似性的计算方法有很多，比如字面相似度计算方法、基于语义词典的计算方法、基于统计的相似度（向量空间模型）计算方法和基于神经网络的相似度计算方法。本篇文章讲讲基于词林的语义相似性。
·2018-06-29 00:00

python实现余弦相似度文本比较

向量空间模型VSM：VSM的介绍：一个文档可以由文档中的一系列关键词组成，而VSM则是用这些关键词的向量组成一篇文档，其中的每个分量代表词项在文档中的相对重要性。
醉曦·2018-06-21 15:00

文本分类实践：基于sklearn与gensim模块

因此为了用数学语言来描述文本数据，引入向量空间模型（VSM）。我们可以将一篇文档视作向量空间中的一个向量，而将该文档中的每一个词项作为向量空间中的一个轴
Lau_Sen·2018-06-01 16:00

Arxiv网络科学论文摘要15篇(2018-04-13)

向量空间模型作为文本分类的认知空间;基于流和批数据语义的社交媒体分析;用结构和动态信息预测个体之间的相互作用;学习电影，演员和文学角色的联合高斯表示法;从社交媒体数据中自动推断人的特质和行为;仇恨Lingo
ComplexLY·2018-04-13 10:43

皮尔森类似度(Pearson Similiarity)计算举例与数学特性和存在问题

或者说可以用来计算两个向量的相似度（在基于向量空间模型的文本分类、用户喜好推荐系统中都有应用）。皮尔森相关系数计算公式如下：ρX,Y=co
IT界的小小小学生·2018-04-10 15:08

皮尔森类似度(Pearson Similiarity)计算举例与数学特性和存在问题

或者说可以用来计算两个向量的相似度（在基于向量空间模型的文本分类、用户喜好推荐系统中都有应用）。皮尔森相关系数计算公式如下：ρX,Y=co
IT界的小小小学生·2018-04-10 15:08

NLP文本相似度

因为CSDN总会把后边一截给自动删掉，所以移动到简书地址（一）余弦相似度、向量空间模型1、相似度举个例子，比如“歌神”和“张学友”，在有些场景上有相似度，有些场景却完全没关系。
贫僧洗头爱飘柔·2018-03-31 11:29

文本向量空间模型（摘自微信公众号）

http://mp.weixin.qq.com/s/3Tet1sTl5BbXvD6aQQTL0w基本概念我们需要开始思考如何将文本集合转化为可量化的东西。最简单的方法是考虑词频。我将尽量尝试不使用NLTK和Scikits-Learn包。我们首先使用Python讲解一些基本概念。基本词频首先，我们回顾一下如何得到每篇文档中的词的个数：一个词频向量。#examplestakenfromhere:htt
碎玉长青·2018-01-07 14:03

总结 | 常用文本特征选择

文本分类中常用到向量空间模型（VSM），然而高维的向量空间
AI深入浅出·2017-12-29 00:00

向量空间模型(vector space model)

向量空间模型(vectorspacemodel)向量空间模型概念简单，把对文本内容的处理简化为向量空间中的向量运算，并且它以空间上的相似度表达语义的相似度，直观易懂。
1313123131312·2017-10-17 20:08

基于向量空间模型的歌词情感分类

1.引言当前信息社会对歌曲的需求与日俱增，各种智能歌曲搜索和推荐系统逐渐涌现。歌曲情感分类是智能歌曲搜索和推荐的关键技术，目标是赋予歌曲特定的情感标签，以方便用户搜索或者系统推荐。近年来，歌曲情感分类首先在音频信号处理研究中涌现，人们试图借助Mel倒谱系数(MFCC)从音频信号中提取可能会反映情感的音频特征（例如强度、频谱质心、能量、节奏、速度等），再借助机器学习算法实现情感分类。歌曲以多种媒体表
leonaxiong·2017-09-27 15:39

空间向量模型和tf-idf

向量空间模型向量空间模型是一个把文本文件表示为标识符（比如索引）向量的代数模型，它应用于信息过滤、信息检索、索引以及相关排序。1定义文档和查询都用向量来表示：每一维都对应于一个个别的词组。
致Great·2017-09-21 16:27

文本分类中的降维方法总结

引言人们通常采用向量空间模型来描述文本向量,但是如果直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维,那么这个向量的维度将是非常的大。
aturbofly·2017-08-18 11:11

理解 TensorFlow 之 word2vec

一般，计算机要处理文本，需要先把文本向量化，即把文本映射到向量空间模型中，再应用深度学习方法来训练。Word2vec是一种可以进行高效率词嵌套学习的预测模型。其两种变体分别为：连
小旋锋·2017-08-17 17:20

NLP —— 图模型（三）pLSA（Probabilistic latent semantic analysis，概率隐性语义分析）模型

相对于比较简单的向量空间模型，主题模型通过引入主题这个概念，更进一步地对文本进
Determined22·2017-07-26 09:00

利用TFIDF策略和朴素贝叶斯算法进行中文文本分类

2.jieba分词https://github.com/fxsjy/jieba二、建立向量空间模型1.加载训练集，每一篇文档作为一行数据，n篇文
chenfei0328·2017-06-14 01:14

Tensorflow教程-字词的向量表示

一旦你觉得已经完全掌握了这个简单版本，你可以查看向量空间模型 (VSMs)将词汇表达（嵌套）于一个连续的向量空间中，语义近似的词
qq_31215157·2017-05-16 09:00

weka文本聚类（1）--概述

文本聚类的理论基础是VSM向量空间模型，关
码弟·2017-05-09 18:11

浅谈搜索引擎基础（上）

有人将搜索引擎分为三个时代：文本检索：采用经典的信息检索模型，如布尔模型、向量空间模型或概率模型来计算用户查询关键
我偏笑_NSNirvana·2017-04-19 11:46

Jackcard相似度和余弦相似度(向量空间模型)的java实现

一、集合的Jackcard相似度1.1Jackcard相似度Jaccard相似指数用来度量两个集合之间的相似性，它被定义为两个集合交集的元素个数除以并集的元素个数。数学公式描述:J(A,B)=|A∩B||A∪B|这个看似简单的算法有很大的用处，比如：抄袭文档高明的抄袭者为了掩盖自己抄袭的事实，会选择性的抄袭文档中的一些段落，或者对词语或原始文本中的句序进行改变。jackcard相似度计算适合从字面
donlagu·2017-04-12 20:31

Jackcard相似度和余弦相似度(向量空间模型)的java实现

版权声明：本文为博主原创文章,地址:http://blog.csdn.net/napoay,转载请留言。总结Jackcard相似度和余弦相似度。一、集合的Jackcard相似度1.1Jackcard相似度Jaccard相似指数用来度量两个集合之间的相似性，它被定义为两个集合交集的元素个数除以并集的元素个数。数学公式描述:J(A,B)=|A∩B||A∪B|这个看似简单的算法有很大的用处，比如：抄袭文
napoay·2017-04-12 00:00

gensim学习笔记（一）- Vector space model

包括向量空间模型，word2vec,LSI,LDA,转换之类的操作，非常方便。
Johnson0722·2017-01-25 23:54

主成分分析2

转自：主成分分析-xiaoyu714543065的专栏-博客频道-CSDN.NET问题：假设在IR中我们建立的文档-词项矩阵中，有两个词项为“learn”和“study”，在传统的向量空间模型中，认为两者独立
horu·2017-01-04 10:43

word2vec原理及实现

Introduction字词的向量空间模型依靠将语意相近的词语聚在一起来提高自然语言处理的表现。比如训练集中可能会有句子1.thedogiswalking和句子2.thecatiswalking。
方品·2016-08-13 18:04

TF-IDF值和文本向量化

采用向量空间模型（VSM）将文档表示成向量，并将文档输出为WEKA能处理的.arff格式。直接上代码：#!
Junkichan·2016-07-11 19:44

Python调用NLPIR/ICTCLAS进行文本分词

数据预处理包括文本分词、去停用词、词频统计、特征选择、采用向量空间模型表示文档等。接下的几篇博文将按照这几个歩棸对文本进行预处理。
Junkichan·2016-07-11 18:50

第四章

2.文档的表示1.向量空间模型思想：文章的语义通过所使用的词语来表达方法:每一
kiwi呀·2016-07-03 08:20

IR的设计

课程概要布尔查询词项分割与去停用词倒排索引的构建与词典输入纠错与编辑距离索引压缩向量空间模型与tf-idf权重计算检索系统的评价检索模型的介绍Web采集与链接分析课程设计任务内容Part1:基本要求：构建词典和倒排索引
my_did·2016-06-01 22:00

几种常见的搜索引擎检索模型

特点：简单粗暴向量空间模型把文档被分词后的每一个词当作向量空间的一个维度，把文档表示为一个线性矩阵，比较某个文档的矩阵和查询词的矩阵之间的余弦距离，距离越近，则相关性越大。
农场老马·2016-05-14 10:57

lucene搜索结果排序

1、基本排序原理①向量空间模型GeraldSalton等在30多年前提出的"向量空间模型"（VectorSpaceModel，VSM）[SaltonandLesk,1968,Salton,1971]。
fanhuibin·2016-05-11 16:00

从频率到意义：语义向量空间模型（4）（From Frequency to Meaning: Vector Space Models of Semantics）

作者：PeterD.Turney、PatrickPantel翻译：华南师范大学-吴玺煜2.语义向量空间模型        统计语义假说（statisticalsemanticshypothesis）是我们这篇论文里讨论的形形色色的
u011274209·2016-05-07 22:00

主成分分析法详解

   问题：假设在IR中我们建立的文档-词项矩阵中，有两个词项为“learn”和“study”，在传统的向量空间模型中，认为两者独立。
wtq1993·2016-05-03 15:00

再谈主成分分析

问题：假设在IR中我们建立的文档-词项矩阵中，有两个词项为“learn”和“study”，在传统的向量空间模型中，认为两者独立。
DM张朋飞·2016-04-27 12:00

从频率到意义：语义向量空间模型（3）（From Frequency to Meaning: Vector Space Models of Semantics）

作者：PeterD.Turney、PatrickPantel翻译：华南师范大学-吴玺煜1.3这次研究的动机    这篇论文是对语义向量空间模型的一次研究。目前对这领域还没有全面、最新的研究。
u011274209·2016-04-19 15:00

从频率到意义：语义向量空间模型（2）（From Frequency to Meaning: Vector Space Models of Semantics）

作者：PeterD.Turney、PatrickPantel翻译：华南师范大学-吴玺煜1.1向量空间模型的动机    VSMs有好几个吸引人的特性。
u011274209·2016-04-17 19:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他