特征词

TF-IDF值和文本向量化

根据提取的特征词计算特征值，即TF-IDF。采用向量空间模型（VSM）将文档表示成向量，并将文档输出为WEKA能处理的.arff格式。直接上代码：#!
Junkichan·2016-07-11 19:44

BOFC、BOF与BOVW

BOF，BagOfFeatures，特征词袋，简单来说就是一种基于SURF的标准视觉词袋（BagOfVisualWords，简称BOVW或者BOW）技术，可以说在CBIR（Content-BasedImageRetrieval
eternity1118_·2016-04-18 14:00

文本分析基础知识

文本分析是指：从文本中抽取特征词进行量化以表示文本信息。文本一般指文字。它是自然语言处理的一个小分支，自然语言处理还包括语音识别（常见的）等。
qq_23617681·2016-04-15 10:00

TFIDF并不能用来说明特征词的重要与否，只是用来区分不同文档

TFIDF并不能用来说明特征词的重要与否，只是用来区分不同文档！
cleverlzc·2016-03-26 21:14

TFIDF并不能用来说明特征词的重要与否，只是用来区分不同文档

TFIDF并不能用来说明特征词的重要与否，只是用来区分不同文档！
cleverlzc·2016-03-26 21:00

技术积累－－常用的文本分类的特征选择算法

常见的六种特征选择方法：1）DF(DocumentFrequency)文档频率DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性2）MI(MutualInformation)互信息法互信息法用于衡量特征词与文档类别直接的信息量
一只快乐的程序猿[Hui]·2016-03-21 23:00

[python] Kmeans文本聚类算法+PAC降维+Matplotlib显示聚类图像

0前言本文主要讲述以下几点：1.通过scikit-learn计算文本内容的tfidf并构造N*M矩阵(N个文档M个特征词)；2.调用scikit-learn中的K-means进行文本聚类；3.使用PAC
Eastmount·2016-01-20 04:06

[python] Kmeans文本聚类算法+PAC降维+Matplotlib显示聚类图像

0前言本文主要讲述以下几点：1.通过scikit-learn计算文本内容的tfidf并构造N*M矩阵(N个文档M个特征词)；2.调用scikit-learn中的K-means进行文本聚类；3.使用PAC
Eastmount·2016-01-20 04:06

[python] Kmeans文本聚类算法+PAC降维+Matplotlib显示聚类图像

0前言本文主要讲述以下几点：    1.通过scikit-learn计算文本内容的tfidf并构造N*M矩阵(N个文档M个特征词)；    2.调用scikit-learn中的K-means进行文本聚类
Eastmount·2016-01-20 04:00

数据挖掘-基于Kmeans算法、MBSAS算法及DBSCAN算法的newsgroup18828文本聚类器的JAVA实现(上)

FAQ见 newsgroup18828文本分类器、文本聚类器、关联分析频繁模式挖掘算法的Java实现工程下载及运行FAQ )本文要点如下：对newsgroup文档集进行预处理，按照DF法及SVD分解法抽取特征词
qq_26562641·2015-12-26 16:00

互联网产品评论语料的观点挖掘

数据需求相关网站产品评论数据以下数据是通过爬虫抓取的，数据的字段如下产品型号评论标题优点缺点总结  二、     算法通过观测百度的那个产品，发现主要的做法就是产品特征+观点组成的，为止，首先要找出产品的特征词
·2015-12-09 11:43

用TFIDF给特征词赋权值

0 背景      在上一篇的用CHI检验的文章中我们已经获得了特征词，这些特征词在某一篇文章中出现的频率是不一样的，也可以说词与词的重要性是不一样的。为了标示特征词语的重要程度，就必须赋权重。
BlockheadLS·2015-11-24 22:03

用CHI检验提取文本特征词

在对文本数据集分词并且除去停用词以后，我们就必须进行文本特征词的提取。所谓特征词就是可以代表此篇文章或者此类文章的一些词语。特征词提取的算法有很多，在此篇博客中讲的是CHI检验。
BlockheadLS·2015-11-22 14:41

文本挖掘之文本表示

我们首先看一下向量空间模型如何表示一个文本： 　　空间向量模型需要一个“字典”：文本的样本集中特征词集合，这个字典可以在样本集中产生，也可以从外部导入，上图中的字典是[baseball,
·2015-11-12 18:02

百度阿拉丁的思考

wiki.babel.baidu.com/twiki/bin/view/Ps/Aladdin/Aladdin%E7%BB%BC%E8%BF%B0需求识别现有方法：专名辞典(挖掘)、特定规则(机构名规则、特征词等
太原seoer珍惜·2015-11-12 16:00

TF-IDF算法扫盲2

本文转载自http://www.mryang.org/logs/45675845.html   TF-IDF算法是一种简单快捷的文档特征词抽取方法，通过统计文档中的词频来对文档进行主题分类
·2015-11-11 09:18

基于SimHash的微博去重

三、实现方案 　　1、对每一条微博使用tf-idf与特征词 　　2、使用每条微博的特征词，通过SimHash方法生成信息指纹。 　　
·2015-10-31 09:20

按类别DF特征词选择算法

声明：   按类别特征词选择算法声明 vector < pair < string , double >   > LocalDFFeatureSelectionForPerclass
·2015-10-30 12:54

针对特征词选择法的验证实验“各种特征词选择算法对文本分类性能的影响”：纸上得来终觉浅，觉知此事要躬行

  （注：博文转载请注明作者和出处 作者：finallyliuyu 出处：博客园）  本博文旨在通过实践验证各种特征词选择算法对文本分类性能的影响。
·2015-10-30 12:54

菜鸟进阶：C++实现Chi-square 特征词选择算法

  作者：finallyliuyu(转载请标明原作者与出处) 在文本分类问题中，离不开特征词选择模块。特征选择是特征降维的关键步骤。
·2015-10-30 12:52

Kmeans文本聚类系列之如何调用Preprocess类

拿我自己做个比方吧，我一直怀疑课本上所讲的各种特征词选择方法是否有效，比如课本上说DF法与IG法，CHI squire法效果差不多，MI法效果最差。我
·2015-10-30 12:50

寻根究底，探讨 chi -square特征词选择方法后面的数学支持

最近研究特征词选择算法，主要在研究chi方统计量的方法。
·2015-10-30 12:50

K-means文本聚类系列（已经完成）

DF特征词选择法 3
·2015-10-30 12:49

Kmeans 聚类之建立文档向量模型(VSM)

作者：finallyliuyu 转载使用等请注明出处 在上一篇博文《Kmeans聚类之特征词选择DF》中我们已经给出了特征词选择的代码，这里我们将给出建立文档向量模型的代码，以及将文档向量模型写成Weka
·2015-10-30 12:49

Kmeans聚类之特征词选择（DF法）

写个菜鸟的入门级读物：如何利用weka进行文本聚类（一）（老鸟勿进，因为你会失望的。。。） 作者：finallyliuyu(转载请注明作者和出处) 哦，（一）忘记附上了去掉字符串首尾空格的小函数了，现在补上。   void  trim( string    & str, const   string  val) {&n
·2015-10-30 12:47

文本分析与检索

隐语义分析LSA和Latent Dirichlet Allocation(LDA) 3、检索模型：Boolean模型、向量模型、概率模型   1、文本表示与特征提取 文本中抽取出的特征词进行量化来表示文本信息
·2015-10-30 11:12

Feature hashing相关 - 1

考虑典型的文本分类，一个经典的方法就是     分词，扫描所有特征，建立特征词典 重新扫描所有特征，利用特征词典将特征映射到特征空间编号 得到特征向量 学习参数
·2015-10-29 08:54

zz 标 题: 求weka JVM outofMemory问题的解决方案【已解决】

求weka JVM outofMemory问题的解决方案 发信站: 水木社区 (Sun Feb 20 10:36:12 2011), 站内 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣
·2015-10-28 08:49

libsvm分类小记（三）

在这种情况下，只需要多次调用VSMFormation模块就行了，因为文档集没有变，所有词袋子模型没有变，因为特征词选择方面没有变，所以词的优先序没有变。这是
·2015-10-28 08:42

基于SimHash的微博去重

三、实现方案 　　1、对每一条微博使用tf-idf与特征词 　　2、使用每条微博的特征词，通过SimHash方法生成信息指纹。 　　3、对生成的信息指纹统
·2015-10-27 16:01

针对特征词选择法的验证实验“各种特征词选择算法对文本分类性能的影响”：纸上得来终觉浅，觉知此事要躬行 （实验数据下载）

（注：博文转载请注明作者和出处 作者：finallyliuyu 出处 博客园） 将实验数据公布出来，目的在于可以方便有相同爱好者的网友，直接下载中间数据快速重现实验。 资源空间提供方：download.csdn.net 统计词典以及关联表数据结构 每个数据包中共有四个文件:keywords.dat,testVSM.dat,trainingVSM.dat,evaluation.txt （.d
·2015-10-21 12:51

LibSVM分类之文本预处理模块

作者：finallyliuyu 转载使用等请注明出处 功能：根据：档集合大小，特征词数目，交叉验证折数的不同需求，快速生成Libsvm格式数据 数据Demo请见：新闻文本分类libsvm格式数据
·2015-10-21 12:44

55分钟学会正则表达式

正则表达式在文本编辑器中广泛使用，比如正则表达式被用于：检查文本中是否含有指定的特征词找出文中匹配特征词的位置从文本中提取信息
人生想绕几个圈·2015-09-05 12:00

同义词挖掘

包括中英文名称，学名与俗名，全称与简称，常用错别字等百科词条从百度百科、搜搜百科等百科网站抓取词条，在词条中，有“又叫”“别名”等特征词，从这些特征词之后可以提取该词条的其他说法。
Daisy8867·2015-08-15 16:34

同义词挖掘

包括中英文名称，学名与俗名，全称与简称，常用错别字等百科词条从百度百科、搜搜百科等百科网站抓取词条，在词条中，有“又叫”“别名”等特征词，从这些特征词之后可以提取该词条的其他说法。
Daisy8867·2015-08-15 16:34

特征选择方法

1）它没有考虑特征词在类间的分布。也就是说该选择的特征应该在某类出现多，而其它类出现少，即考察各类的文档频率的差异。如果一个特征词，在各个类间分布比较均匀，这样的词对分类基
xum2008·2015-06-04 18:00

SimHash算法

对于文本相似度的计算，传统的方法是使用向量空间模型（VectorSpaceModel），即VSM，VSM计算文本相似度的方法是这样的：先对文本进行分词，提取出特征词，然后建立文本向量，把相似度的计算转化成某种特征向量距离的计算
ACdreamers·2015-03-26 21:00

正则表达式

正则表达式在文本编辑器中广泛使用，比如正则表达式被用于：检查文本中是否含有指定的特征词找出文中匹配特征词的位置从文本中提取信息，比如：字符串的子串修改文本与文本编辑器相似，几乎所有的高级编程语言都支持正则表达式
Hsu_Sai·2015-01-14 22:04

常用查找论文的方法

其中，“关键词”和“摘要”是论文的特征词汇。而论文主题，通常会出现在网页标题中。例：在Google上搜“关键词摘要intitle:物流”。
u010539352·2015-01-04 10:00

文本处理工具之grep、egrep

正则表达式在文本编辑器中广泛使用，比如正则表达式被用于：检查文本中是否含有指定的特征词找出文中匹配特征词的位置从文本中提取信息，比如：字符串的子串修改文本基本正则表达式：元字符：不表
as007012012·2014-08-31 17:17

学习正则表达式

正则表达式在文本编辑器中广泛使用，比如正则表达式被用于：检查文本中是否含有指定的特征词找出文中匹配特征词的位置从文本中提取信息，比如：字符串的子串修改文本与文本编辑器相似，几乎所有的高级编程语言都支持正则表达式
wufangna·2014-08-25 17:00

55分钟学会正则表达式

正则表达式在文本编辑器中广泛使用，比如正则表达式被用于：检查文本中是否含有指定的特征词找出文中匹配特征词的位置从文本中提取信息，比如：字符串的子串修改文本与文本编辑器相似，几乎所有的高级编程语言都支持正则表达式
xyxjn·2014-08-25 10:00

数据挖掘-文本分类：特征选择方法总结

阅读更多一、概念二、特征选择方法总结一、概念特征词选择和特征词权重1.特征词选择：特征词选择是为了降低文本表示的维度，而特征词权重是为了表示文本表示中每一个特征项的重要程度。
dengqsintyt·2014-07-27 16:00

数据挖掘-文本分类：特征选择方法总结

一、概念二、特征选择方法总结 一、概念  特征词选择和特征词权重  1.特征词选择：特征词选择是为了降低文本表示的维度，而特征词权重是为了表示文本表示中每一个特征项的重要程度。  
dengqsintyt·2014-07-27 16:00

数据挖掘-文本分类：特征选择方法总结

阅读更多一、概念二、特征选择方法总结一、概念特征词选择和特征词权重1.特征词选择：特征词选择是为了降低文本表示的维度，而特征词权重是为了表示文本表示中每一个特征项的重要程度。
dengqsintyt·2014-07-27 16:00

【python 编程】文本分类KNN算法实现及结果输出

文本分类流程：1、特征选取：网页爬取-》网页预处理获取汉字-》中文分词及词性标注-》保留名词-》词频统计-》输出词-文档矩阵-》计算词的信息增益值-》选取增益大的前N个词作为特征词-》计算每个词在文档中的权重
jiayanhui2877·2014-05-14 16:00

盲反馈检索系统实验记录一

这种方法假定用户初始检索结果的前k篇文档是相关的，再由系统抽选出这k篇文档的特征词，然后把这些特征词和初始查询词再放入搜索框中进行二次检
jokance·2014-04-01 10:37

网页分类技术介绍

文本分类的一个关键问题是特征词的选择问题及其权重分配。  在搜索引擎中，
atco·2013-08-06 11:00

中文分词中的新词发现地点切分等问题

blog.sina.com.cn/s/blog_64d0b03c0101bcxk.html 中文分词做为自然语言处理的第一工序．有着十分重要的意义，在一定程度上可以说，没有分词，所谓的分类，句法树，聚类，特征词提取
wd_2007·2013-01-29 17:00

中文分词中的新词发现地点切分等问题

blog.sina.com.cn/s/blog_64d0b03c0101bcxk.html中文分词做为自然语言处理的第一工序．有着十分重要的意义，在一定程度上可以说，没有分词，所谓的分类，句法树，聚类，特征词提取
wd_2007·2013-01-29 17:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他