向量空间模型

从频率到意义：语义向量空间模型（1）（From Frequency to Meaning: Vector Space Models of Semantics）

语义的向量空间模型（VSMs）是处理这些局限性的开端。这篇文章探究了VSMs对于语义文本处理的作用。我们按照在VSM里矩阵的结构，组织关于VSMs的文本。包括了三种广
u011274209·2016-04-15 21:00

（6）文本挖掘（三）——文本特征TFIDF权重计算及文本向量空间VSM表示

建立文本数据数学描述的过程分为三个步骤：文本预处理、建立向量空间模型和优化文本向量。文本预处理主要采用分词、停用词过滤等技术将原始的文本字符串转化为词条串或者特点的符号串。
Fighting_No1·2016-03-28 18:51

（6）文本挖掘（三）——文本特征TFIDF权重计算及文本向量空间VSM表示

建立文本数据数学描述的过程分为三个步骤：文本预处理、建立向量空间模型和优化文本向量。文本预处理主要采用分词、停用词过滤等技术将原始的文本字符串转化为词条串或者特点的符号串。
Fighting_No1·2016-03-28 18:00

文本分类之降维技术之特征抽取之LDA线性判别分析

基于的向量空间模型有个缺点，即向量空间中的每个关键词唯一地代表一个概念或语义单词，也就是说它不能处理同义词和多义词，然而实际情况是：一个词往往有多个不同的含义，多个不同的词可以代表一个概念。
u011955252·2016-03-02 09:00

Latent semantic analysis note(LSA)

该方法和传统向量空间模型(vectorspacemodel)一样使用向量来表示词(terms)和文档(documents)，并通过向量
刺猬的温驯·2015-12-11 23:00

[python] 使用Jieba工具中文分词及文本聚类概念

前面讲述了很多关于Python爬取本体Ontology、消息盒InfoBox、虎扑图片等例子，同时讲述了VSM向量空间模型的应用。
Eastmount·2015-12-11 02:17

[python] 使用Jieba工具中文分词及文本聚类概念

    前面讲述了很多关于Python爬取本体Ontology、消息盒InfoBox、虎扑图片等例子，同时讲述了VSM向量空间模型的应用。
Eastmount·2015-12-11 02:00

总结一下我所设想的推荐引擎怎么做

个关键词覆盖几乎相同的文档；2、把用户的搜索单词尽量导向关键词几何的某1个，这样就可以有结果了，用户的兴趣则可以用几个关键词的概率组合来表达3、确保用户可以通过搜索访问到所有的文档，否则就是理论上不完备了，普通的向量空间模型感觉
志_祥·2015-11-30 16:06

总结一下我所设想的推荐引擎怎么做

个关键词覆盖几乎相同的文档；2、把用户的搜索单词尽量导向关键词几何的某1个，这样就可以有结果了，用户的兴趣则可以用几个关键词的概率组合来表达3、确保用户可以通过搜索访问到所有的文档，否则就是理论上不完备了，普通的向量空间模型感
cteng·2015-11-30 16:00

用TFIDF给特征词赋权值

1 VSM向量空间模型       哎？不是讲TFIDF吗，怎么会有VSM向量空间模型呢。是这样，在经过CHI提取到特征词后，然后再用TFIDF给特征词赋权值以后，
BlockheadLS·2015-11-24 22:03

Python简单实现基于VSM的余弦相似度计算

在知识图谱构建阶段的实体对齐和属性值决策、判断一篇文章是否是你喜欢的文章、比较两篇文章的相似性等实例中，都涉及到了向量空间模型（VectorSpaceModel，简称VSM）和余弦相似度计算相关知识。
Eastmount·2015-11-18 05:46

Python简单实现基于VSM的余弦相似度计算

在知识图谱构建阶段的实体对齐和属性值决策、判断一篇文章是否是你喜欢的文章、比较两篇文章的相似性等实例中，都涉及到了向量空间模型（VectorSpaceModel，简称VSM）和余弦相似度计算相关知识。
Eastmount·2015-11-18 05:46

Python简单实现基于VSM的余弦相似度计算

    在知识图谱构建阶段的实体对齐和属性值决策、判断一篇文章是否是你喜欢的文章、比较两篇文章的相似性等实例中，都涉及到了向量空间模型（VectorSpaceModel，简称VSM）和余弦相似度计算相关知识
Eastmount·2015-11-18 05:00

主成分分析

        问题：如果在IR中我们建立的文档-词项矩阵中，有两个词项为“learn”和“study”，在传统的向量空间模型中
·2015-11-13 22:30

搜索研发部官方博客 » Blog Archive » 相似度计算常用方法综述

» 相似度计算常用方法综述 相似度计算常用方法综述     (2012-7-05 09:07:59) 标签： 主题相似度 , 向量空间模型
·2015-11-13 21:06

向量空间模型 - 维基百科，自由的百科全书

向量空间模型 - 维基百科，自由的百科全书 向量空间模型   维基百科，自由的百科全书 跳转到： 导航, 搜索
·2015-11-13 20:38

文本挖掘之文本表示

一种经典而且被广泛运用的文本表示方法，即向量空间模型(VSM)，俗称“词袋模型”。 　　
·2015-11-12 18:02

lucene打分机制

一：相似度算法lucene采用的是基于VSM（向量空间模型）的相似度算法，查询向量（queryvector）与搜索出来的文档向量（documentvector）形成N个夹角，计算q和d之间的夹角，最小的就是相似度最高的
BradyZhu·2015-11-12 16:00

Lucene3.0结果排序原理+操作+示例

1、 基本排序原理 ①     向量空间模型 Gerald Salton 等在 3
·2015-11-12 12:08

搜索引擎 中 排序学习 的小思考

排序模型的发展可以分为两个阶段，第一个阶段是基于词频和位置统计的排序模型，如布尔模型、向量空间模型等；第二个阶段是基于链接分析的排序模型，如PageRank模型等。
·2015-11-11 06:24

新手学信息检索4：向量空间模型与相似度计算

相似度从字面上理解就是两个事物的相似程度。在信息检索中，相似度表示的是两个文档之间的相似程度或者查询与文档的相似程度。 首先回想一下检索过程： 1：首先用户输入查询词。 2：搜索引擎根据查询词查找相应的文档。 3：搜索引擎把查询结果以一定的方式显示给用户。 那么一篇文档是否满足用户的查询需求可以用文本与查询的相似程度来衡量。而相似度到最后总能够计算成一个实数，所以可以根据文档与查询的相似
·2015-11-11 02:34

主成分分析

在传统的向量空间模型，两个独立的感觉。从语义的角度来讲，两者是相似的。并且两者出现频率也类似。是不是能够合成为一个特征呢？
·2015-11-11 00:41

向量空间模型(VSM)的余弦定理公式(cos)

相信很多学习向量空间模型(Vector Space Model)的人都会被其中的余弦定理公式所迷惑..
·2015-11-10 21:39

[译]Vector space model(向量空间模型)

Vector space model (or term vector model) is an algebraic model for representing text documents (and any objects, in general) as vectors of identifiers, such as, for example, index terms. It is used i
·2015-11-08 13:05

余弦相似度

引自：http://hi.baidu.com/zzpppork/blog/item/c1c79cfadbfe0a6e034f5683.html 在向量空间模型中，文本泛指各种机器可读的记录。
·2015-11-07 14:16

[信息检索]搜索引擎大作业

  二、题目分析 题目分析：我们将任务分解为四个部分：新闻数据的爬取、倒排索引的构建、向量空间模型的实现 和 前端界面。 主要分为四个模
·2015-11-03 21:07

信息检索导论学习笔记（8）-向量空间模型

向量空间模型 在有了tf-idf权重计算之后，一个自然的数学建模的想法是：tf-idf权重矩阵   向量空间模型 把文档看成是一个向量（vector），其中的每个分量都对应词典中的一个词项
·2015-11-02 13:40

向量空间模型(VSM)

向量空间模型将文档映射为一个特征向量V(d)=(t 1,ω 1(d)；…；t n, ω n(d))，其中t i(i=1,2, …,n)为一列互不雷同的词条项，ω i(d)为t i在d中的权值, 一般被定义为
·2015-10-31 11:47

改进向量空间模型

直接使用词的个数在比较词数很多和词数很少的文档时存在着问题。例如文档I中含有10000个词，而词a出现了10次；文档II中含有100个词，而a出现了5次。这样在相似度计算时，文档I中a对最后结果的影响比文档II中的a要大。这显然是不合理的，因为a只点文档I的0.1%而却占文档II的5%。为了解决这类问题，我们引入词频（TF）和反词频（IDF）两个概念。 其中TF = f/m，其中f表示当前词在当
·2015-10-31 11:46

余弦定理

在向量空间模型中，文本泛指各种机器可读的记录。
·2015-10-30 11:05

向量空间模型

一： 不同区域的权重计算 1.  对出现在文档的不通区域的term赋予不同的权值，例如title，author，body等，这样需要在倒排表中记录term每一次出现的位置 2. 对不同的区域赋予不通的权值，Gi， 使得 Sum(Gi) = 1 3. 对于这个Gi的值，可以通过机器学习的方法来确定：给定一个文档集合和query，以及query与文档之间的相似性，然后假定一个表达式，采
·2015-10-27 14:10

Latent semantic analysis note(LSA)

该方法和传统向量空间模型(vectorspacemodel)一样使用向量来表示词(terms)和文档(documents)，并通过向量
winone361·2015-10-27 09:00

分类（二）：基于向量空间模型的文本分类

    利用向量空间模型进行文本分类的思路主要基于邻近假设（contiguityhypothesis）。邻近假设：    同一类的文档会构成一个邻近区域，而不同类的邻近区域之间是互不重叠的。
Roger_Fang·2015-10-22 01:00

有关Lucene的问题(3): 向量空间模型与Lucene的打分机制

问题： 在你的文章中提到了： 于是我们把所有此文档中词(term)的权重(term weight) 看作一个向量。    Document = {term1, term2, …… ,term N}    Document Vector = {weight1, weight2, …… ,weight N}  
·2015-10-21 12:20

Classifier4J的中文支持

Classifier4J是一个轻量级的分类工具，支持贝叶斯分类、向量空间模型、信息摘要等。
·2015-10-21 12:15

第1章 搜索引擎及其技术架构

1，搜索引擎技术的发展史 　　第一代：文本检索的一代 　　采用经典的信息检索模型，比如布尔模型、向量空间模型或概率模型，来计算用户查询关键词和网页文本内容的相关程度。
·2015-10-21 10:10

数据检索---空间向量模型VSM

向量空间模型（VSM：VectorSpaceModel）由Salton等人于20世纪70年代提出，并成功地应用于著名的SMART文本检索系统。
李元乐·2015-10-20 12:52

基于VSM的命名实体识别、歧义消解和指代消解

    前面讲述过两篇知识图谱相关的文章，这篇文章主要讲解基于向量空间模型(VectorSpaceModel)的相关应用，包括命名实体识别、实体消歧和跨文本指代消解；其最终目的是想通过它应用到知识图谱构建过程中
Eastmount·2015-09-20 06:00

Lucene3.0之结果排序（原理篇）

1、 基本排序原理①     向量空间模型GeraldSalton 等在 30 多年前提出的"向量空间模型" （VectorSpaceModel，VSM）[SaltonandLesk,1968,Salton
z69183787·2015-08-23 16:00

推荐系统读书笔记

基于用户最近邻推荐2基于物品的最近邻推荐3关于评分41基于SVD推荐系统42关联规则挖掘43基于概率分析的推荐算法51SlopeOne预测器52Google新闻个性化推荐引擎基于内容的推荐1内容表示和相似度11向量空间模型和
a358463121·2015-08-13 20:00

如何计算两个文档的相似度

一、TF-IDF、余弦相似度、向量空间模型（1）使用TF-IDF算法，找出两篇文章的关键词；（2）每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（为了避免文章长度的差异
傻傻小菜鸟·2015-07-29 18:00

如何计算两个文档的相似度

一、TF-IDF、余弦相似度、向量空间模型（1）使用TF-IDF算法，找出两篇文章的关键词；（2）每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（为了避免文章长度的差异
傻傻小菜鸟·2015-07-29 18:00

使用向量空间模型（df-idf）计算搜索文档与查询词的相关性

如果要实现一个搜索引擎，当搜索到与用户查询相关的文档后，需要按照搜索文档与查询词相关性的先后顺序显示文章标题与概要，所以需要一种办法计算用户查询和搜索文档的相关性，然后按照相关性由高到低进行排序。那如何计算用户查询和搜索文档的相关性呢？在解决这个问题之前，需要先解决如何计算两篇文档的相关性，因为我们可以把用户查询看做一个特殊的文档，如果把“计算两篇文档的相关性”这个问题解决了，“计算查询词与搜索文
sunny_ss12·2015-07-19 01:00

文本建模常用的预处理方法——特征选择方法（CHI和IG）

TF-IDF用于向量空间模型，进行文档相似度计算是相当有效的。但在文本分类中单纯使用TF-IDF来判断一个特征是否有区分度是不够的。==
mmc2015·2015-07-06 10:00

基于文本向量空间模型的文本聚类算法

基于文本向量空间模型的文本聚类算法@[vsm|向量空间模型|文本相似度]本文源地址http://www.houzhuo.net/archives/51.htmlvsm概念简单，把对文本内容的处理转化为向量空间中的向量计算
Cins侯卓·2015-06-22 11:50

自然语言处理课程作业 中文文本情感分类

本文主要是基于机器学习方法的中文文本情感分类，主要包括：使用开源的Markup处理程序对XML文件进行分析处理、中科院计算所开源的中文分词处理程序ICTCLAS对文本进行分词处理、去除停用词等文本预处理，在基于向量空间模型
蒋_X_X·2015-06-03 16:17

向量空间模型(vsm) 简介

1、vsm,即向量空间模型(vectorspacemodel)的意思，本身是一种数学模型，来解决NLP(自然语言处理的简称,NatureLanguageProc
周天亮·2015-05-17 16:06

向量空间模型(vsm) 简介

1、  vsm,即向量空间模型(vector space model)的意思，本身是一种数学模型，来解决NLP(自然语言处理的简称,Nature La
erliang20088·2015-05-17 16:00

用Python给文本创立向量空间模型的教程

我们需要开始思考如何将文本集合转化为可量化的东西。最简单的方法是考虑词频。我将尽量尝试不使用NLTK和Scikits-Learn包。我们首先使用Python讲解一些基本概念。基本词频首先，我们回顾一下如何得到每篇文档中的词的个数：一个词频向量。#examplestakenfromhere:http://stackoverflow.com/a/1750187mydoclist=['Julielove
斯坦福大学·2015-04-23 10:23

Lucene TF-IDF 相关性算分公式

Lucene在进行关键词查询的时候，默认用TF-IDF算法来计算关键词和文档的相关性，用这个数据排序 TF:词频,IDF：逆向文档频率，TF-IDF是一种统计方法，或者被称为向量空间模型,名字听起来很复杂
·2015-04-08 17:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他