因子分析法

因子分析法

今天博主想介绍一个很经典的降维方法因子分析法，很多人可能降维第一想到的是主成分分析法，确实主成分分析法是很经典的，

因子分析是指研究从变量群中提取共性因子的统计技术。最早由英国心理学家C.E.斯皮尔曼提出。他发现学生的各科成绩之间存在着一定的相关性，一科成绩好的学生，往往其他各科成绩也比较好，从而推想是否存在某些潜在的共性因子，或称某些一般智力条件影响着学生的学习成绩。因子分析可在许多变量中找出隐藏的具有代表性的因子。将相同本质的变量归入一个因子，可减少变量的数目，还可检验变量间关系的假设。

简而言之，因子分析法，认为很多变量之间具有相关性，而这种相关性本质上是指多个变量可能存在着一个共同的影响因子，这一个影响因子就可以通过多个函数得到多个变量的近似。那么我们就可以用这一个隐变量去表示多个变量的信息。

因子分析
– 降维的一种方法，是主成分分析的推广和发展
– 是用于分析隐藏在表面现象背后的因子作用的统计模型。试图用最少个数的不可测的公共因子的线性函数与特殊因子之和来描述原来观测的每一分量
主要用途
– 减少分析变量个数
– 通过对变量间相关关系的探测，将原始变量分组，即将相关性高的变量分为一组，用共性因子来代替该变量
– 使问题背后的业务因素的意义更加清晰呈现

数学模型表示：

如果你听懂了上面原理的介绍，那么对于上面的数学模型会有一个很好的理解，所以，很多时候，我认为学习要真懂。如上述。F就是我们最终得到的因变量，而对于A则是各个变量对于因变量的一个权重，对于隐变量和变量的关系十分重要。

因子分析法基本原理在对某一个问题进行论证分析时，采集大量多变量的数据能为我们的研究分析提供更为丰富的信息和增加分析的精确 度。然而，这种方法不仅需要巨大的工作量，并且可能会因为变量之间存在相关性而增加了我们研究问题的复杂性。因子分析法就是从研究变 量内部相关的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。这样我们就可以对原始的 数据进行分类归并，将相关比较密切的变量分别归类，归出多个综合指标，这些综合指标互不相关，即它们所综合的信息互相不重叠。这些综 合指标就称为因子或公共因子。因子分析法的基本思想是将观测变量进行分类，将相关性较高，即联系比较紧密的分在。
同一类中，而不同类变量之间的相关性则较低，那么每一类变量实际上就代表了一个基本结构，即公共因子。

对于所研究的问题就是试图用 最少个数的不可测的所谓公共因子的线性函数与特殊因子之和来描述原来观测的每一分量。这样，就能相对容易地以较少的几个因子反映原资 料的大部分信息，从而达到浓缩数据，以小见大，抓住问题本质和核心的目的。因子分析法的核心是对若干综合指标进行因子分析并提取公共 因子，再以每个因子的方差贡献率作为权数与该因子的得分乘数之和构造得分函数。因子分析法的数学表示为矩阵:，即:(kp)(1式)模型中，向 量X是可观测随机向量，即原始观测变量。F是X的公共因子，即各个原观测变量的表达式中共同出现的因。