E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
lda主题模型
文本分类之降维技术之特征抽取之
LDA
线性判别分析
背景：为什么需要特征抽取？基于的向量空间模型有个缺点，即向量空间中的每个关键词唯一地代表一个概念或语义单词，也就是说它不能处理同义词和多义词，然而实际情况是：一个词往往有多个不同的含义，多个不同的词可以代表一个概念。在这种情况下，基于的向量空间模型不能很好的解决这种问题。特征抽取方法则可以看作从测量空间到特征空间的一种映射或变换,一般是通过构造一个特征评分函数,把测量空间的数据投影到特征空间,得到
红豆和绿豆
·
2020-08-16 08:55
文本挖掘
数据挖掘
数学
Spark ML（5）：聚类算法（Kmeans和
LDA
）
一、环境配置1.spark2.1.0-cdh5.7.0（自编译）2.cdh5.7.03.scala2.11.84.centos6.4二、环境准备参考https://blog.csdn.net/u010886217/article/details/90312617三、代码实现1.测试数据集iris样例5.1,3.5,1.4,0.2,Iris-setosa4.9,3.0,1.4,0.2,Iris-se
RayBreslin
·
2020-08-16 08:35
Spark
ML
文本
主题模型
之
LDA
什么是话题模型（topicmodel）？话题模型就是用来发现大量文档集合的主题的算法。借助这些算法我们可以对文档集合进行归类。适用于大规模数据场景。目前甚至可以做到分析流数据。需要指出的是，话题模型不仅仅限于对文档的应用，可以应用在其他的应用场景中，例如基因数据、图像处理和社交网络。这是一种新的帮助人类组织、检索和理解信息的计算工具。通过这类算法获得的那些主题都可以比喻成望远镜不同的放大倍数。我们
修炼打怪的小乌龟
·
2020-08-16 08:58
文本处理
scikit-learn linearRegression 1.2 线性与二次判别分析
线性判别分析(
LDA
)(discriminant_analysis.LinearDiscriminantAnalysis)和二次判别分析(QDA)(discriminant_analysis.QuadraticDiscriminantAnalysis
瑟瑟发抖的菜鸡望
·
2020-08-16 08:52
机器学习
PCA和
LDA
欢迎访问我的blog本文是PCA的简单推导和理解，详细了解各个演化版本的PCA可以参考WIKI第二块数学基础内容很简单，都是高中知识，但是还是看一下，这样理解PCA就很快了1、为什么要PCA在真实的数据中总是会存在许多的冗余信息，比如：1、一支笔的长度是15cm，也可以说是0.15m。但是把这两者当作两个特征，那么他们所表达的意义其实是完全一样的。这里我要表达的就是两个特征之间的相关性，如果两个特
DivinerShi
·
2020-08-16 08:58
特征
自然语言处理-
LDA
主题模型
一、
LDA
主题模型
简介
LDA
(LatentDirichletAllocation)中文翻译为：潜在狄利克雷分布。
LDA
主题模型
是一种文档生成模型，是一种非监督机器学习技术。
sphinxrascal168
·
2020-08-16 08:12
LDA
and QDA
-data.frame(rbind(iris3[,,1],iris3[,,2],iris3[,,3]),Sp=rep(c("s","c","v"),rep(50,3)))y_hat<-predict(
lda
斯温jack
·
2020-08-16 08:53
机器学习
Sklearn
机器学习之降维方法：PCA和
LDA
的区别
一、PCA（主成分分析）二、
LDA
（线性判别分析）1、二类
LDA
原理2、多类
LDA
原理3、
LDA
算法流程4、
LDA
算法小结三、
LDA
和PCA区别一、PCA（主成分分析）PCA是一种无监督的数据降维方法降维是对数据高维度特征的一种预处理方法
平原2018
·
2020-08-16 08:52
算法
gensim实现
LDA
主题模型
-------实战案例（分析希拉里邮件的主题）
数据集下载：https://download.csdn.net/download/qq_41185868/10963668第一步：加载一些必要的库，我们用的是gensim中的
LDA
模型，所以必须安装gensim
Shaw_Road
·
2020-08-16 08:06
自然语言处理
LDA
模型
原文的主要内容有两种方法设计分类器：1.discriminativemodel，就是由样本直接设计判别函数，例如SVM；2.generativemodel，就是先从样本恢复概率模型——例如我们熟悉的参数方法：混合高斯模型GMM;非参数方法Parzen窗。然后再充分挖掘模型，用以分类。例如Bayes最大后验概率准则；或者将模型中的参数当作提取的特征（参数一般都比较少，所以这么做实际上是在降维），在这
提灯夜行者
·
2020-08-16 08:59
数据挖掘
allocation
matlab
each
google
methods
算法
sklearn降维1: 线性判别分析
LDA
原理python过程
importpandasaspd#df=pd.read_csv('iris.data',header=None,sep=',')df=pd.io.parsers.read_csv(filepath_or_buffer='https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None,sep=
弎见
·
2020-08-16 08:23
机器学习入门
python
主题模型
聚类匹配2018TKDE阅读笔记（Topic Models for Unsupervised Cluster Matching）
本文作者：合肥工业大学管理学院钱洋email：
[email protected]
内容可能有不到之处，欢迎交流。未经本人允许禁止转载。论文来源IwataT,HiraoT,UedaN.TopicModelsforUnsupervisedClusterMatching[J].IEEETransactionsonKnowledgeandDataEngineering,2018,30(4):786-795.
HFUT_qianyang
·
2020-08-16 08:38
计算机顶会及顶刊
贝叶斯相关模型及程序
数据挖掘算法
自然语言处理方法及应用
概率主题模型
Fisher（
LDA
）判别的推导+python代码实现二分类
Fisher判别的推导一、Fisher算法的主要思想二、Fisher数学算法步骤①计算各类样本均值向量mim_imi,mim_imi是各个类的均值，NiN_iNi是wiw_iwi类的样本个数。②计算样本类内离散度矩阵SiS_iSi和总类内离散度矩阵SwS_wSw③计算样本类间离散度矩阵SbS_bSb④求投影方向向量WWW(维度和样本的维度相同)。我们希望投影后，在一维YYY空间里各类样本尽可能分开
w²大大
·
2020-08-16 08:30
人工智能与机器学习
python学习
『
LDA
主题模型
』用Python实现
主题模型
LDA
用Python实现
主题模型
LDA
。最后打印出文档-主题分布以及主题-词分布。
来日凭君发遣
·
2020-08-16 08:59
摘要抽取
python
数据分析
数据挖掘
LDA
原理（剖析源代码，详解）
上篇文章我们讲解了PCA的原理，在这里我们先分析一下PCA和
LDA
的区别
LDA
线性判别分析也是一种经典的降维方法，
LDA
是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。
翻滚吧~CODE君
·
2020-08-16 08:25
sklearn的
lda
降维
LDA
全称：线性判别分析用途：用来对数据进行降维或分类目标：
LDA
关注的是能够最大化类间区分样本将特征空间（数据集中的多维样本）投影到一个维度更小的K子维样本中，同时保持区分类别的信息。
靓玲珑
·
2020-08-16 07:34
使用python进行
LDA
分析
sklearn进行PCA及
LDA
分析importmatplotlib.pyplotaspltfromsk
古杜且偲
·
2020-08-16 07:28
机器学习
LDA
主题模型
-sklearn的LatentDirichletAllocation实现案例
原理介绍请参考：
LDA
主题模型
及python实现用scikit-learn学习
LDA
主题模型
实现
LDA
模型的库有：sklearn的LatentDirichletAllocation和Gensim库等。
Dream_by_Dream
·
2020-08-16 07:05
数据分析
可解释推荐系统总结
基于用户和物品的解释2.2基于内容的解释2.3文本解释2.4视觉解释2.5社交解释2.6混合解释3.可解释推荐系统模型3.1矩阵分解模型3.1.1隐因子模型(LFM)3.1.2显因子模型3.1.3其他3.2
主题模型
嗜码
·
2020-08-16 07:49
python自然语言处理之
lda
LDA
拓展了PLSA，定义了先验，因此L
数据科学家corten
·
2020-08-16 07:48
机器学习
【机器学习】 线性判别分析(
LDA
)
LDA
的主要思想是：使投影后类内方差最小，类间方差最大，如下图所示。我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。
CC‘s World
·
2020-08-16 07:06
机器学习
(转)python:使用
LDA
进行文档主题建模.md
转自git:https://github.com/duoergun0729/nlp/blob/master/%E4%BD%BF%E7%94%A8
LDA
%E8%BF%9B%E8%A1%8C%E6%96%87%
渴望飞的鱼
·
2020-08-16 07:33
python
特征转换方法比较（PCA、ICA、
LDA
）
特征转换方法比较（PCA、ICA、
LDA
）一、主成分分析（PCA）二、独立成分分析（ICA）三、线性判别分析（
LDA
）四、异同点比较随着机器学习和数据科学的发展，大数据的分析与处理在许多领域得到了应用。
藏晖
·
2020-08-16 07:47
竞赛方案
特征处理
【机器学习的一些问题】降维
常见的方法有：主成分分析PrincipalComponentsAnalysis,PCA线性判别分析LinearDiscriminantAnalysis,
LDA
等距映射局部线性嵌入拉普拉斯特征映射局部保留投
阿里萨
·
2020-08-16 07:06
机器学习的一些问题
PCA
LDA
降维测试
测试概述该实验的主要目的是测试
LDA
（LinearDiscriminantAnalysis，线性判别分析）和PCA（Principalcomponentsanalysis，主成分分析）的降维效果（主要是训练时间
lerry-lee
·
2020-08-16 07:33
LDA
主题模型
英文完整python代码
fromnltk.corpusimportstopwordsfromnltk.stem.wordnetimportWordNetLemmatizerimportstringfromgensimimportcorporaimportgensimstop=set(stopwords.words('english'))exclude=set(string.punctuation)lemma=WordNe
大黄老鼠
·
2020-08-16 07:01
线性判别分析
LDA
和主成分分析PAC。
LDA
和PAC作为经典的降维算法，如何从应用的角度分析其原理的异同？从数学推导的角度，两种降维算法在目标函数上有何去区别和联系？
场景分析：同样作为线性降维算法，PAC是非监督的降维方法，而
LDA
线性判别分析是有监督的降维算法。问题解答：首先将线性判别分析
LDA
扩展到高维的情况。
光英的记忆
·
2020-08-16 07:13
算法
tensorflow
机器学习算法总结知识点索引
它和
LDA
有什么区别
光英的记忆
·
2020-08-16 07:13
算法
tensorflow
NLP
机器学习 | 线性判别分析
LDA
和主成分分析PCA
LDA
和PCA介绍1背景2线性判别分析
LDA
2.1含义2.2图解2.3数学原理2.4
LDA
降维流程2.5
LDA
用于分类2.6代码实现3主成分分析PCA3.1含义3.2图解3.3数学推导3.3.1基于最小投影距离推导
RUC_Lee
·
2020-08-16 07:05
机器学习
Python
机器学习
python下进行
lda
主题挖掘(二)——利用gensim训练
LDA
模型
python下进行
lda
主题挖掘(一)——预处理(英文)python下进行
lda
主题挖掘(二)——利用gensim训练
LDA
模型python下进行
lda
主题挖掘(三)——计算困惑度perplexity本篇是我的
MoonBreeze_Ma
·
2020-08-16 07:19
自然语言处理
机器学习中的数学(4)-线性判别分析（
LDA
）, 主成分分析(PCA)、奇异值分解（SVD）
1、What&WhyPCA（主成分分析）PCA，Principalcomponentsanalyses，主成分分析。广泛应用于降维，有损数据压缩，特征提取和数据可视化。也被称为Karhunen-Loeve变换从降维的方法角度来看，有两种PCA的定义方式，方差最大和损失最小两种方式。这里需要有一个直观的理解：什么是变换（线性代数基础）。但是总的来说，PCA的核心目的是寻找一个方向（找到这个方向意味着
且行且安~
·
2020-08-16 07:45
机器学习
【大数据部落】基于
LDA
主题模型
聚类的商品评论文本挖掘
原文链接http://tecdat.cn/?p=1474Homeapplianceindustryandconsumerupgradesquietlyunfolded.Thischangeinthemarketsothatconsumerexpectationsofhouseholdappliancesisnolongerjustasimplefunctiontomeet,butmoredetai
qq_19600291
·
2020-08-16 07:39
大数据部落
数据分析
算法
数据分析报告代写
CS作业代写
C代写
C++代写
数据挖掘代写
Computer
science代写
LDA
线性判别分析
问题之前我们讨论的PCA降维，对样本数据来言，可以是没有类别标签y的。如果我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。假设我们对一张100*100像素的图片做人脸识别，每个像素是一个特征，那么会有10000个特征，而对应的类别标签y仅仅是0/1值，1代表是人脸。这么多特征不仅训练复杂，而且不必要特征对
Rnan-prince
·
2020-08-16 07:39
算法
机器学习
机器学习之
LDA
主题模型
算法
文章目录1、知道
LDA
的特点和应用方向1.1、特点1.2、应用方向2、知道Beta分布和Dirichlet分布数学含义3、了解共轭先验分布4、知道先验概率和后验概率5、知道参数α值的大小对应的含义6、掌握
Magician~
·
2020-08-16 07:01
Machine
Learning
LDA
原理小结
线性判别分析（LinearDiscriminationAnalysis，
LDA
）是一种经典的线性学习方法。它既可以用于分类，又可以作为一种降维方法。
Maples丶丶
·
2020-08-16 07:00
机器学习和深度学习
降维之线性判别分析（
LDA
）
文章目录思想推导步骤比较
LDA
是一种有监督学习算法。在PCA中，算法没有考虑数据的标签（类别），只是把数据映射到一些方差比较大的方向而已。
凯旋的皇阿玛
·
2020-08-16 07:51
机器学习
主题模型
TopicModel：
LDA
主题模型
的评估
http://blog.csdn.net/pipisorry/article/details/42460023基础知识：熵[熵与互信息]皮皮blogPerplexity定义perplexity是一种信息理论的测量方法，b的perplexity值定义为基于b的熵的能量（b可以是一个概率分布，或者概率模型），通常用于概率模型的比较wiki上列举了三种perplexity的计算：1概率分布的perple
-柚子皮-
·
2020-08-16 07:01
主题模型Topic
Model
主题模型
【python系列】画
lda
主题分布折线图
说明利用python画
lda
训练出来的doc的主题分布的折线图。主题分布文件为GibbsLDA++中casestudy中给出的。
sina微博_SNS程飞
·
2020-08-16 07:30
python
自然语言处理
机器学习
Spark：聚类算法之
LDA
主题模型
算法
http://blog.csdn.net/pipisorry/article/details/52912179Spark上实现
LDA
原理
LDA
主题模型
算法[
主题模型
TopicModel：隐含狄利克雷分布
-柚子皮-
·
2020-08-16 07:30
Spark
主题模型Topic
Model
ESL4.3 线性判别分析（
LDA
&QDA）学习笔记
4.3线性判别分析这是一篇有关《统计学习基础》，原书名TheElementsofStatisticalLearning的学习笔记，该书学习难度较高，有很棒的学者将其翻译成中文并放在自己的个人网站上，翻译质量非常高，本博客中有关翻译的内容都是出自该学者的网页，个人解读部分才是自己经过查阅资料和其他学者的学习笔记，结合个人理解总结成的原创内容。有关ESL更多的学习笔记的markdown文件，可在作者G
Nstar-LDS
·
2020-08-16 07:45
ESL阅读笔记
线性判别分析（
LDA
）-白话讲解
LDA
前言基本思想python实现前言 线性判别分析（LinearDiscriminantAnalysis，
LDA
）是一种经典的线性分类方法。
Xiaofei@IDO
·
2020-08-16 07:13
机器学习
机器学习笔记_降维_1:
LDA
(fisher)
LDA
分类器（2分类问题）存在超平面将两类数据分开，存在旋转向量，将两类数据投影到1维，并且分开.通过矩阵w将数据x投影到yy=w¯Tx寻找阈值w0,y≥w0，为类C1,否则是类C2
LDA
算法设C1有N1
LandscapeMi
·
2020-08-16 07:25
机器学习
无监督数据降维技术——线性判别分析
线性判别分析基本原理线性判别分析（LinearDiscriminantAnalysis,
LDA
）是一种可作为特征提取的技术，它可以提高数据分析过程中的计算效率，同时，对于不适用于正则化的模型，它可以降低因维数灾难带来的过拟合
miaoyanmm
·
2020-08-16 07:24
线性判别分析(
LDA
)与主成分分析(PCA)
有些资料上也称为是Fisher’sLinearDiscriminant，因为它被RonaldFisher发明自1936年
LDA
的原理是，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点
yy-captain
·
2020-08-16 07:16
算法
LDA
主题模型
浅析 -- 笔记
0、前言
LDA
是两个常用模型的简称:LinearDiscriminantAnaliysis和LatentDirichletAllocation.
LDA
（LatentDirichletAllocation
Juanly Jack
·
2020-08-16 07:41
NLP
Machine
Learning
理顺
主题模型
LDA
及在推荐系统中的应用
1关于
主题模型
使用
LDA
做推荐已经有一段时间了，
LDA
的推导过程反复看过很多遍，今天有点理顺的感觉，就先写一版。
一个人的场域
·
2020-08-16 06:34
NLP
推荐系统
主题模型
相关的几个概念
一基本概念（1）概率密度函数、分布率与分布函数例图：概率密度函数（probabilitydensityfunction,PDF）f(x)是连续型随机变量的概念，是指在某个确定的点（x）附近的可能性的函数（2）分布率分布率是针对离散型随机变量的概念。P{X=xk}=pk,k=1,2,3...(3)分布函数分布函数：连续型随机变量的分布函数：二贝叶斯定理假设有一所学校，学生中60%是男生和40%是女生
一个人的场域
·
2020-08-16 06:03
机器学习
Python3-
LDA
主题模型
+TF/IDF gensim实现，中文案例
LDA
主题模型
+TF/IDFgensim实现 2020年8月7日，上班无事，写博客打发时间，我的第一篇博客 数据的清洗和
LDA
和TF/IDF的实现，原理写起来太长了，懒得写了文本预处理 当我们拿到文本数据时
leeqinyu
·
2020-08-16 06:03
笔记
LDA
主题模型
学习总结
本篇主要总结隐含狄利克雷分布(LatentDirichletAllocation，以下简称
LDA
)1.贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率的定理。
kongkongqixi
·
2020-08-16 06:18
自然语言处理
机器学习
算法
python
基于
LDA
的人脸识别算法研究
在基于统计方法的识别方法中，PCA、
LDA
方法是利用测试图像在特定子空间上投影向量作为特征向量，本文重点介绍了基于线性判别分析（LD
清流激湍，孤帆去悠悠
·
2020-08-16 06:08
上一页
21
22
23
24
25
26
27
28
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他