多元分析

多元分析是多变量的统计分析方法，是数理统计的一个分支。

1. 聚类分析

聚类分析又称群分析，是对多个样本或指标进行定量分类的一种多元统计分析方法。对样本进行分类称为Q型聚类分析，对指标进行分类称为R型聚类分析。

1.1 Q型聚类分析
1.1.1 样本相似性度量
对一群有待分类的样本点需用p个变量描述，每个样本点可以看成是${\mathbf{R}}^p$空间中的一个点，用距离来度量样本点间的相似度。
在聚类分析中，对于定量变量，最常用的是闵氏距离，即$$d_q(\mathbf{x},\mathbf{y})=[\sum _{k=1}^p|x_k-y_k{|}^q{]}^{\frac{1}{q}},q>0$$当$q=1,2$或$q\to +\infty$时，分别得到：

1. 绝对值距离：$d_1(\mathbf{x},\mathbf{y})={\sum }_{k=1}^p|x_k-y_k|$
2. 欧几里得距离：$d_2(\mathbf{x},\mathbf{y})=[{\sum }_{k=1}^p|x_k-y_k{|}^2{]}^{\frac{1}{2}}$
3. 切比雪夫距离：$d_{\infty }(\mathbf{x},\mathbf{y})=\underset{1⩽k⩽p}{\max }|x_k-y_k|$

在闵氏距离中，最常用的是欧式距离，其主要优点是当坐标轴进行正交旋转时，欧式距离保持不变。
在使用闵氏距离时，一定要采用相同量纲的变量，还应尽可能地避免变量的多重相关性，否则会片面强调某些变量的重要性。由于闵氏距离的这些缺点，一种改进为马氏距离$$d(\mathbf{x},\mathbf{y})=\sqrt{(\mathbf{x}-\mathbf{y}{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{\mathbf{T}}(\mathbf{x}-\mathbf{y})}$$式中$\mathbf{x},\mathbf{y}$为来自p维总体Z的样本观测值，$\mathbf{\Sigma }$为Z的协方差矩阵，在实际中$\mathbf{\Sigma }$往往未知，需要样本协方差来估计。马氏距离对一切线性变换是不变的，故不受量纲的影响。

1.1.2 类与类的相似性度量
如果有两个样本$G_1$和$G_2$，可以用如下方法度量他们之间的距离

1. 最短距离法：$D(G_1,G_2)=\underset{x_i\in G_1,y_j\in G_2}{\min }\left\{d({\mathbf{x}}_{\mathbf{i}},{\mathbf{y}}_{\mathbf{j}})\right\}$，直观意义为两个类中最近两点的距离
2. 最长距离法：$D(G_1,G_2)=\underset{x_i\in G_1,y_j\in G_2}{\max }\left\{d({\mathbf{x}}_{\mathbf{i}},{\mathbf{y}}_{\mathbf{j}})\right\}$，直观意义为两个类中最远两点的距离
3. 重心法：$D(G_1,G_2)=d(\bar{\mathbf{x}},\bar{\mathbf{y}})$，式中$\bar{\mathbf{x}},\bar{\mathbf{y}}$分别为$G_1,G_2$的重心
4. 类平均法：$D(G_1,G_2)=\frac{1}{n_1{n}_2}\sum _{x_i\in G_1}\sum _{x_j\in G_2}d({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$，它等于$G_1,G_2$中两样本点距离的平均，$n_1,n_2$分别为$G_1,G_2$中样本点的个数
5. 离差平方和法：$D(G_1,G_2)=D_{12}-D_1-D_2$，其中$D_{12},D_1,D_2$分别为$G_1\cup G_2,G_1,G_2$的离差平方和，离差平方和为方差的n倍，n为样本数

1.1.3 聚类图
Q型聚类结果可由聚类图展示出来，根据给定的阈值距离，可将点分为不同聚类

聚类图生成步骤：

1. 计算n个样本点两两之间的距离$d_{ij}$，记为矩阵$\mathbf{D}=(d_{ij}{)}_{n\times n}$
2. 首先构造n个类，每个类中只包含一个样本点，每一类的平台高度均为0
3. 合并距离最近的两类为新类，并且以这两类间的距离值作为聚类图中的平台高度
4. 计算新类与当前各类的距离，若类的个数已经等于1，转入步骤5，否则回到步骤3
5. 画聚类图
6. 决定类的个数和类

y=pdist(a,'cityblock')		%a为m*n矩阵，m为数据个数，n为数据维度，求a的两两行向量间的绝对值距离
							%函数输入第二项可指定距离计算方法，输出y为行向量
yc=squareform(y)		%将向量y变换成距离方阵（对称方阵）
z=linkage(y,'method')		%生成等级聚类树，输入第二项指定类的相似性度量方法，y为pdist输出的行向量，z为(m-1)*3的矩阵
%z中第1列和第2列包含了被两两连接生成一个新类的所有对象的索引，第3列包含了相应的在类中的两两对象间的连接距离
dendrogram(z)		由linkage产生的数据矩阵z画聚类图，p为节点数，默认30
T=cluster(z,'maxclust',3)	%把对象分成3类，返回值T为长m列向量，表示每个数据所在的类别

1.2 R型聚类法
1.2.1 变量相似性度量：常用的有两种

1. 相关系数：用两变量${\mathbf{x}}_{\mathbf{j}}$与${\mathbf{x}}_{\mathbf{k}}$的样本相关系数作为他们的相似性度量
2. 夹角余弦：用两变量${\mathbf{x}}_{\mathbf{j}}$与${\mathbf{x}}_{\mathbf{k}}$的样本夹角余弦作为他们的相似性度量

1.2.2 类与类的相似性度量：与Q型聚类法类似，常用有最长距离法、最短距离法等

b=zscore(a)		%数据标准化，矩阵a为m*n矩阵，m为数据个数，n为数据维度
r=corrcoef(b)	%计算相关系数矩阵

用聚类进行数据分析时，先用R型聚类法从变量中所有变量中选取几个有代表性的变量（剔除相关性较强的变量），再对所选取的变量的取值进行Q型聚类分析，得到所有数据的聚类情况。

1.3 动态聚类法
上述先将样品各自作为一类，重复将最近的两类合并，直至所有样品合并为一类的方法称为系统聚类法。
先选择一个初始的分类和一批凝聚点，让样品按某种原则向凝聚点凝聚，对凝聚点不断地修改迭代，直至分类合理或迭代稳定，该方法称为动态聚类法。动态凝聚法中最常用的为k均值法（k-mean）。

2. 主成分分析

2.1 基本思想及方法
主成分分析将许多相关性很高的变量转化成彼此相互独立或不相关的变量，并用以解释资料的综合性指标。
设$X_1,X_2,\cdots ,X_p$表示以$x_1,x_2,\cdots ,x_p$为样本观测值的随机变量，若能找到$c_1,c_2,\cdots ,c_p$，使得$$Var(c_1{X}_1+c_2{X}_2+\cdots +c_p{X}_p)s.t.c_1^2+c_2^2+\cdots +c_p^2=1$$的值达到最大，由于方差反映了数据差异的程度，也就表明我们抓住了这p个变量的最大变异。此时得到的解是p维空间的一个单位向量，代表一个主成分方向。
一个主成分不足以代表原来的p个变量，因此需要寻找多个主成分，而每个主成分之间不应该包含相互之间的信息，统计上描述为两个主成分间的协方差为0，几何上描述为两个主成分的方向正交。
注意事项：

1. 主成分分析的结果受量纲的影响，实际中应先把各变量的数据标准化，再用协方差矩阵或相关系数矩阵进行分析。
2. 使方差达到最大的主成分分析不用转轴（区别于因子分析）。
3. 主成分的保留：用相关系数求主成分时，主张将特征值小于1的主成分放弃（也是SPSS的默认值）。
4. 由于主成分的目的是降维，实际分析中一般选取少量主成分（不超过5个或6个），只要它们能解释变异的70%~80%（累积贡献率）即可。

2.2 特征值因子的筛选
设有p个指标变量$x_1,x_2,\cdots ,x_p$，在第i次试验中的取值为$a_{i1},a_{i2},\cdots ,a_{ip},i=1,2,\cdots ,n$，将它们写成矩阵形式为$$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1p}\\ a_{21}& a_{22}& \cdots & a_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{np}\end{array}\right]$$矩阵$\mathbf{A}$称为设计阵，将${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$的特征值按从大到小的次序排列，取前面的特征值使所取特征值所占比重超过85%，每个特征值所对应的特征向量即为一个主成分方向。
注：使用${\tilde{x}}_i=(x_i-{\mu }_i)/{\sigma }_i$对数据进行标准化后，得到的矩阵为$\tilde{\mathbf{A}}$，此时矩阵$\mathbf{R}={\tilde{\mathbf{A}}}^{\mathbf{T}}\tilde{\mathbf{A}}/(n-1)$即为相关系数矩阵。
单纯考虑累积贡献率有时是不够的的，还需要考虑选择的主成分对原始变量的贡献值，用相关系数的平方和来辨识，若选取的主成分为$z_1,z_2,\cdots ,z_r$，则它们对原变量$x_i$的贡献值为${\rho }_i={\sum }_{j=1}^r{r}^2(z_j,x_i)$，式中$r(z_j,x_i)$为$z_j$和$x_i$的相关系数。

2.3 主成分回归分析
主成分回归分析是为了克服最小二乘估计在数据矩阵$\mathbf{A}$存在多重共线性时表现出的不稳定性。
主成回归分析将原本的回归自变量变换到另一组变量，即主成分，然后用最小二乘法对选取主成分后的模型参数进行估计，最后再变换回原来的模型求出参数的估计。

hg1=[ones(m,1),x0]\y0		%计算最小二乘法回归系数
%"\":反斜线符号，矩阵左除。对可逆矩阵而言，右除代表对右边矩阵取逆，左除代表对左边矩阵取逆A\B=inv(A)*B，但是算法不同。
%对X=A\B如果A是m*n的矩阵，那么X就是AX=B的最小二乘解
r=corrcoef(x0)		%计算相关系数矩阵，行数为数据个数，列数为变量个数
xd=zscore(x0); yd=zscore(y0);	%对设计矩阵和y0进行标准化处理
[vec1,lamda,rate]=pcacov(r)		%主成分分析，vec1为r的特征向量，lamda为r的特征值，rate为各个主成分的贡献率
f=repmat(sign(sum(vec1)),size(vec1,1),1)		%构造与vec1同维数的元素为±1的矩阵
vec2=vec1.*f		%修改特征向量的正负号，使得特征向量的所有分量和为正
%上述两步保证了所有特征向量的分量和为正，这对回归分析而言并没有作用，但对评价每个数据的得分是必要的
hg21=df(:,[1:num])\yd		%计算主成分变量的回归系数。这里由于数据标准化，回归方程的常数项为0
hg22=vec2(:,1:num)*hg21		%计算标准化变量的回归方程系数
hg23=[mean(y0)-std(y0)*mean(x0)./std(x0)*hg22, std(y0)*hg22'./std(x0)]	%计算原始变量回归方程的系数

2.4 利用主成分分析对每个样本进行评价的步骤

1. 数据标准化：$X\to X_0\in n\times m$，其中$X$为原数据矩阵，$X_0$为标准化后的数据矩阵，n为数据个数，m为变量个数
2. 计算相关系数矩阵：$R\in m\times m$，其中$R$为相关系数矩阵
3. 主成分分析：$\eta \in m\times m,\lambda \in m,rate\in m$，其中$\eta$为特征向量矩阵，每列代表一个特征向量，$\lambda$为特征值，rate为各主成分的贡献率
4. 将所有特征向量的分量和改为正：$\eta \to {\eta }^{+}\in m\times m$，由于特征向量的特性，在特征向量上加正负号结果都正确，但是若要根据该特征向量对每个数据（标准化后的数据）进行打分，则需要使特征向量的所有分量和为正打分才有意义
5. 选取主成分个数：${\eta }^{+}\to {\eta }_p^{+}\in m\times p$
6. 计算所有数据在各主成分上的得分：$s=X_0\ast {\eta }_p^{+}\in n\times p$
7. 计算所有数据的综合得分：$S=sum(s,1)\in n$，根据该得分可以对所有数据进行排名从而分析结果

3. 因子分析

因子分析通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，用少数几个假想变量来表示其基本数据结构。这几个假想变量能够反映原来众多变量的主要信息，原始的变量时可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。
因子分析可看成主成分分析的推广，也是一种降维方式，与PCA的差别在于：

1. PCA把方差划分为不同的正交成分，而因子分析则把方差划分为不同的起因因子。
2. PCA仅是变量变换，而因子分析需要构造因子模型。
3. PCA中原始变量的线性组合表示新的综合变量，即主成分。因子分析中潜在的假想变量和随机影响变量的线性组合表示原始变量。

3.1 因子分析模型
3.1.1 数学模型
设p个变量$X_i(i=1,2,\cdots ,p)$可以表示为$$X_i={\mu }_i+{\alpha }_{i1}{F}_1+\cdots +{\alpha }_{im}{F}_m+{\epsilon }_i,m⩽p$$或$$\mathbf{X}-\mathbf{\mu }=\mathbf{\Lambda }\mathbf{F}+\mathbf{\epsilon }$$其中$\mathbf{X}\in p\times 1,\mathbf{\mu }\in p\times 1,\mathbf{\Lambda }\in p\times m,\mathbf{F}\in m\times 1,\mathbf{\epsilon }\in p\times 1$，称$F_1,F_2,\cdots ,F_m$为公共因子，是不可观测的变量，它们的系数称为载荷因子，${\epsilon }_i$为特殊因子，是不能被前m个公共因子包含的部分。且满足$$E(\mathbf{F})=0,E(\mathbf{\epsilon })=0,\mathrm{Cov}(\mathbf{F})={\mathbf{I}}_m,D(\mathbf{\epsilon })=\mathrm{Cov}(\mathbf{\epsilon })=\mathrm{diag}\left({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2\right),\mathrm{Cov}(\mathbf{F},\mathbf{\epsilon })=0$$该模型与回归模型在形式上很相似，但因子分析中的因子是抽象的概念，而回归变量有明确的实际意义。因子分析的首要任务就是估计因子载荷${\alpha }_{ij}$和方差${\sigma }_i$，然后给因子$F_i$一个合理的解释，若难以进行合理的解释，则需要进一步作因子旋转，希望旋转后能发现比较合理的解释。

3.1.2 因子分析模型的性质

1. 原始变量$\mathbf{X}$的协方差矩阵的分解。由$\mathbf{X}-\mathbf{\mu }=\mathbf{\Lambda }\mathbf{F}+\mathbf{\epsilon }$，得$\mathrm{Cov}(\mathbf{X}-\mathbf{\mu })=\mathbf{\Lambda }\mathrm{Cov}(\mathbf{F}){\mathbf{\Lambda }}^{\mathbf{T}}+\mathrm{Cov}(\mathbf{\epsilon })$，即$$\mathrm{Cov}(\mathbf{X}-\mathbf{\mu })=\mathbf{\Lambda }{\mathbf{\Lambda }}^{\mathbf{T}}+\mathrm{diag}\left({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2\right)$$${\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2$的值越小，则公共因子共享的成分越多。
2. 载荷矩阵不是唯一的。设$\mathbf{T}$为一个$p\times p$的正交矩阵，令$\tilde{\mathbf{\Lambda }}=\mathbf{\Lambda }\mathbf{T},\tilde{\mathbf{F}}={\mathbf{T}}^{\mathbf{T}}\mathbf{F}$，则模型可以表示为$$\mathbf{X}=\mathbf{\mu }+\tilde{\mathbf{\Lambda }}\tilde{\mathbf{F}}+\mathbf{\epsilon }$$

3.1.3 因子载荷矩阵中的几个统计性质

1. 因子载荷${\alpha }_{ij}$的统计意义：因子载荷${\alpha }_{ij}$是第i个变量和第j个公共因子的相关系数，反映了第i个变量和第j个公共因子的相关重要性。绝对值越大，相关的密切程度越高。
2. 变量共同度的统计意义：变量$X_i$的共同度是因子载荷矩阵第i行的元素的平方和，记为$h_i^2={\sum }_{j=1}^m{\alpha }_{ij}^2$，对原模型的公式的两边求方差，得$$1=\sum _{j=1}^m{\alpha }_{ij}^2+{\sigma }_i^2$$式中，特殊因子的方差${\sigma }_i^2(i=1,2,\cdots ,p)$称为特殊方差。可以看出所有的公共因子和特殊因子对变量$X_i$的贡献为1。若${\sum }_{j=1}^m{\alpha }_{ij}^2$非常接近1，${\sigma }_i^2$非常小，则因子分析的效果好，从原变量空间到公共因子空间的转化效果好。
3. 公共因子$F_i$方差贡献的统计意义：因子载荷矩阵中各列元素的平方和$$S_j=\sum _{i=1}^p{\alpha }_{ij}^2$$称为$F_j(j=1,2,\cdots .m)$对所有的$X_i$的方差贡献和（可解释方差），用于衡量$F_j$的相对重要性。列元素的平方和除以变量总个数可得到该公共因子的贡献率，用PCA法算出的贡献率总和为1，用主因子法和最大似然法算得的总贡献率小于1。

3.2 因子载荷矩阵的估计方法
因子分析的一个基本问题是如何估计因子载荷，下面介绍常用的因子载荷矩阵的估计方法。

3.2.1 主成分分析法（主要使用）
设${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_p$为样本相关系数矩阵$\mathbf{R}$的特征值，${\mathbf{\eta }}_1,{\mathbf{\eta }}_2,\cdots ,{\mathbf{\eta }}_{\mathbf{p}}$为相应的标准正交化特征向量。设m$\mathbf{\Lambda }$为$$\mathbf{\Lambda }=[\sqrt{{\lambda }_1}{\mathbf{\eta }}_1,\sqrt{{\lambda }_2}{\mathbf{\eta }}_2,\cdots ,\sqrt{{\lambda }_m}{\mathbf{\eta }}_{\mathbf{m}}]$$特殊因子的方差用$\mathbf{R}-\mathbf{\Lambda }{\mathbf{\Lambda }}^{\mathbf{T}}$的对角元来估计，即$${\sigma }_i^2=1-\sum _{j=1}^m{\alpha }_{ij}^2$$

3.2.2 主因子法
主因子法是对主成分方法的修正，输入变量标准化后有$\mathbf{R}=\mathbf{\Lambda }{\mathbf{\Lambda }}^{\mathbf{T}}+\mathbf{D},\mathbf{D}=\mathrm{diag}\left({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2\right)$，记$${\mathbf{R}}^{\ast }=\mathbf{\Lambda }{\mathbf{\Lambda }}^{\mathbf{T}}=\mathbf{R}-\mathbf{D}$$式中，${\mathbf{R}}^{\ast }$为约相关系数矩阵，其对角线上的元素都是$h_i^2$。在实际应用中，特殊因子的方差一般都是未知的，可通过一组样本来估计，估计的方法有以下2种：

1. 取${\hat{h}}_i^2=1$，此时主因子解与主成分解等价。
2. 取${\hat{h}}_i^2=\underset{j\ne i}{\max }|r_{ij}|$，此时取$X_i$与其余的$X_j$的简单相关系数的绝对值最大者。记$${\mathbf{R}}^{\ast }=\mathbf{R}-\mathbf{D}=\left[\begin{array}{cccc}{\hat{h}}_1^2& r_{12}& \cdots & r_{1p}\\ r_{21}& {\hat{h}}_2^2& \cdots & r_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ r_{p1}& r_{p2}& ⋮& {\hat{h}}_p^2\end{array}\right]$$直接求${\mathbf{R}}^{\ast }$的前p个特征值${\lambda }_1^{\ast }⩾{\lambda }_2^{\ast }⩾\cdots ⩾{\lambda }_p^{\ast }$，和对应的正交特征向量${\mathbf{u}}_1^{\ast },{\mathbf{u}}_2^{\ast },\cdots ,{\mathbf{u}}_{\mathbf{p}}^{\ast }$，得到如下的因子载荷矩阵$$\mathbf{\Lambda }=[\sqrt{{\lambda }_1^{\ast }}{\mathbf{u}}_1^{\ast },\sqrt{{\lambda }_1^{\ast }}{\mathbf{u}}_1^{\ast },\cdots ,\sqrt{{\lambda }_1^{\ast }}{\mathbf{u}}_1^{\ast }]$$

3.2.2 最大似然估计法
MATLAB工具箱求因子载荷矩阵使用的是最大似然估计法

[Lambda,Psi] = factoran(r,1,'xtype','cov')		%Lambda返回的是因子载荷矩阵，Psi返回的是特殊方差
%第二个输入参数为公因子数，'xtype'后接输入矩阵的类型，'cov'表示数据矩阵为正的协方差或相关矩阵
%该函数对公共因子数目有限制，需满足m<=d且df>=0，其中m为要计算的公因子数，d为原始变量个数，df为自由度
%自由度计算公式为degree_freedom=((d-m)^2-(d+m))/2，当原始变量为3个时只能求得一个主因子，当原始变量为5个时至多求得2个主因子

3.3 因子旋转（正交变换）
建立因子分析数学模型的目的不仅要找出公共因子，更重要的是要知道每个公共因子的含义，以便进一步的分析。由于因子载荷矩阵不唯一，为使每个公共因子含义清晰，需对因子载荷矩阵进行旋转，目的是使因子载荷矩阵的结构简化，使载荷矩阵每列或行的元素平方值向0和1两极分化。有3种主要的正交旋转法：

1. 方差最大法（主要使用）：方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上有较高的载荷时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分载荷趋于$\pm 1$，另一部分趋于0。
2. 四次方最大旋转：四次方最大旋转是从简化载荷矩阵的行出发，通过旋转初始因子，使每个变量只在一个因子上有较高的载荷，在其他因子上有尽可能低的载荷。如果每个变量只在一个因子上有非零的载荷，这时的因子解释是最简单的。四次方最大法是使因子载荷矩阵中每一行的因子载荷平方的方差达到最大。
3. 等量最大法：等量最大法是把四次方最大法和方差最大法结合起来，求它们的加权平均最大。

对两个因子的载荷矩阵$\mathbf{\Lambda }=({\alpha }_{ij}{)}_{p\times 2},i=1,\cdots ,p;j=1,2$，取正交矩阵$$\mathbf{T}=\left[\begin{array}{cc}cos\varphi & -sin\varphi \\ sin\varphi & cos\varphi \end{array}\right]$$这是逆时针旋转，若将$\mathbf{T}$次对角线上的两个元素对换，则作顺时针旋转。记$\hat{\mathbf{\Lambda }}=\mathbf{\Lambda }\mathbf{T}$为旋转因子载荷矩阵，此时模型变为$$\mathbf{X}-\mathbf{\mu }=\hat{\mathbf{\Lambda }}({\mathbf{T}}^{\mathbf{T}}\mathbf{F})+\mathbf{\epsilon }$$同时公共因子$\mathbf{F}$也随之变为${\mathbf{T}}^{\mathbf{T}}\mathbf{F}$，现在希望通过旋转，使因子的含义更加明确。
当公共因子数$m>2$时，可以每次考虑不同的两个因子的旋转，从m个因子中每次选取两个旋转，共有m(m-1)/2种选择，这样共有m(m-1)/2次旋转，做完这么多次旋转后就算完成了一个循环，然后可以重新开始第二个循环，直到每个因子的含义都比较明确为止。

[lambda2,t]=rotatefactors(lambda(:,1:num),'method', 'varimax')		%对载荷矩阵按照方差最大法进行旋转
%其中lambda2为旋转载荷矩阵，t为变换的正交矩阵

3.4 因子得分
在因子分析中，一般关注的重点是估计因子模型的参数，即载荷矩阵，有时公共因子的估计（即因子得分）也是需要的，因子得分可用于模型诊断，也可作下一步分析的原始数据。因子得分并不是通常意义下的参数估计，它是对不可观测的随机变量$F_i$取值的估计。通常可以用加权最小二乘法和回归法来估计因子得分。

3.4.1 因子得分的概念
在因子分析的数学模型中，原变量被表示为公共因子的线性组合。因子得分则需要把公共因子表示为原变量的线性组合，因子得分函数：$$F_j=c_j+{\beta }_{j1}{X}_1+\cdots +{\beta }_{jp}{X}_p,j=1,2,\cdots ,m$$可见，要求得每个因子的得分，必须求得分函数的系数，而由于$p>m$，所以不能得到精确的得分，只能通过估计。

3.4.2 巴特莱特因子得分（加权最小二乘法，主要使用）
把$X_i-{\mu }_i$看作因变量，把因子载荷矩阵看成自变量的观测。由于特殊因子的方差相异，所以用加权最小二乘法求得分，使$$\sum _{i=1}^p[(X_i-{\mu }_i)-({\alpha }_{i1}{\hat{F}}_1+\cdots +{\alpha }_{im}{\hat{F}}_m){]}^2/{\sigma }_i^2$$最小的${\hat{F}}_1,\cdots ,{\hat{F}}_m$是相应个案的因子得分，用矩阵表示则要使$$(\mathbf{X}-\mathbf{\mu }-\mathbf{\Lambda }\mathbf{F}{)}^{\mathbf{T}}{\mathbf{D}}^{-1}(\mathbf{X}-\mathbf{\mu }-\mathbf{\Lambda }\mathbf{F})$$达到最小，计算得$$\hat{\mathbf{F}}=({\mathbf{\Lambda }}^{\mathbf{T}}{\mathbf{D}}^{-1}\mathbf{\Lambda }{)}^{-1}{\mathbf{\Lambda }}^{\mathbf{T}}{\mathbf{D}}^{-1}(\mathbf{X}-\mathbf{\mu })$$

3.4.3 回归方法
对正规化后的原始变量，因子得分函数的计算公式变为$F_j={\beta }_{j1}{X}_1+\cdots +{\beta }_{jp}{X}_p,j=1,2,\cdots ,m$，由于$$\begin{array}{l}{\alpha }_{ij}={\gamma }_{x_i{F}_j}=E\left(X_i{F}_j\right)=E\left[X_i\left({\beta }_{j1}{X}_1+\cdots +{\beta }_{jp}{X}_p\right)\right]\\ ={\beta }_{j1}{\gamma }_{i1}+\cdots +{\beta }_{jp}{\gamma }_{ip}=\left[{\gamma }_{i1},{\gamma }_{i2},\cdots ,{\gamma }_{ip}\right]\left[\begin{array}{c}{\beta }_{j1}\\ {\beta }_{j2}\\ ⋮\\ {\beta }_{jp}\end{array}\right]\end{array}$$因此有$$\left[\begin{array}{cccc}{\gamma }_{11}& {\gamma }_{12}& \cdots & {\gamma }_{1p}\\ {\gamma }_{21}& {\gamma }_{22}& \cdots & {\gamma }_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ {\gamma }_{p1}& {\gamma }_{p2}& \cdots & {\gamma }_{pp}\end{array}\right]\left[\begin{array}{c}{\beta }_{j1}\\ {\beta }_{j2}\\ ⋮\\ {\beta }_{jp}\end{array}\right]=\left[\begin{array}{c}{\alpha }_{1j}\\ {\alpha }_{2j}\\ ⋮\\ {\alpha }_{pj}\end{array}\right],j=1,2,\cdots ,m$$式中3个矩阵分别为：原始变量的相关系数矩阵、第j个因子得分函数的系数、载荷矩阵的第j列。用矩阵表示，有$$\left[\begin{array}{cccc}{\beta }_{11}& {\beta }_{21}& \cdots & {\beta }_{m1}\\ {\beta }_{12}& {\beta }_{22}& \cdots & {\beta }_{m2}\\ ⋮& ⋮& \ddots & ⋮\\ {\beta }_{1p}& {\beta }_{2p}& \cdots & {\beta }_{mp}\end{array}\right]={\mathbf{R}}^{-1}\mathbf{\Lambda }$$因此，因子得分的估计为$$\hat{\mathbf{F}}={\mathbf{X}}_0{\mathbf{R}}^{-1}\mathbf{\Lambda }$$

3.5 因子分析的步骤与PCA的对比
3.5.1 因子分析的步骤

1. 选择分析的变量：因子分析的前提条件是观测变量间有较强的相关性，因为如果变量间无相关性或相关性较小，它们之间就不会有共享因子。
2. 计算所选原始变量的相关系数矩阵：相关系数矩阵描述了原始变量之间的相关关系，是估计因子结构的基础。
3. 提出公共因子：确定因子求解的方法和因子的个数，需要根据研究者的设计方案以及有关的经验或知识事先决定。因子个数的确定可以根据因子方差的大小，只取方差大于1（或特征值大于1）的那些因子。因子的累计方差贡献率一般要达到60%才能符合要求。
4. 因子旋转：通过坐标变换使每个原始变量在尽可能少的因子之间有密切的关系，并为每个潜在因子赋予有实际含义的名字。
5. 计算因子得分：求出各样本的因子得分，就可以在许多分析中使用这些因子。如以因子得分做聚类分析的变量，做回归分析中的回归因子。

3.5.2 PCA与因子分析法的比较

4.判别分析

判别分析是根据所研究个体的观测指标来推断该个体所属类型的一种统计方法。用统计的语言表达，就是已知有q个总体$X_1,X_2,\cdots ,X_q$，它们的分布函数分别为$F_1(x),F_2(x),\cdots ,F_q(x)$，每个$F_i(x)$都是p维函数，对给定的样本X，要判断它来自哪个总体。常用的基本判别法有：距离判别、Bayes判别、Fisher判别。

4.1 距离判别
距离判别适用于连续型随机变量的判别类，对变量的概率分布没有限制。
通常定义的距离为欧氏距离，但在统计分析与计算中，就不适用了。
设$\mathbf{x},\mathbf{y}$是从均值为$\mathbf{\mu }$，协方差为$\mathbf{\Sigma }$的总体A中抽取的样本，则总体A内两点$\mathbf{x},\mathbf{y}$的马氏距离定义为$$d(\mathbf{x},\mathbf{y})=\sqrt{(\mathbf{x}-\mathbf{y}{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{\mathbf{T}}(\mathbf{x}-\mathbf{y})}$$定义样本x和总体A的马氏距离为$$d(\mathbf{x},\mathbf{A})=\sqrt{(\mathbf{x}-\mathbf{\mu }{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{\mathbf{T}}(\mathbf{x}-\mathbf{\mu })}$$讨论两个总体的距离判别时，分协方差相同和协方差不同两种情况进行讨论。设总体A和B的均值向量分别为${\mathbf{\mu }}_1$和${\mathbf{\mu }}_2$，协方差矩阵分别为${\mathbf{\Sigma }}_1$和${\mathbf{\Sigma }}_2$，给定一个样本x，要判断x来自哪一个总体。

1. 当${\mathbf{\Sigma }}_1={\mathbf{\Sigma }}_2=\mathbf{\Sigma }$时，根据x到总体A和B的马氏距离大小进行判断$$\mathbf{x}\in \{\begin{array}{l}\mathbf{A},d(\mathbf{x},\mathbf{A})⩽d(\mathbf{x},\mathbf{A})\\ \mathbf{B},d(\mathbf{x},\mathbf{B})>d(\mathbf{x},\mathbf{B})\end{array}$$引入l两总体的距离判别函数$$w(\mathbf{x})=(\mathbf{x}-\bar{\mathbf{\mu }}{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)\sim d^2(\mathbf{x},\mathbf{B})-d^2(\mathbf{x},\mathbf{A})$$，因此判别准则变为$$\mathbf{x}\in \{\begin{array}{l}\mathbf{A},w(\mathbf{x})⩾0\\ \mathbf{B},w(\mathbf{x})<0\end{array}$$在实际中，总体的均值和协方差阵是未知的，因此总体的均值和协方差用样本的均值和协方差来代替，判别函数也用$\hat{w}(\mathbf{x})$来代替。要注意的是，求样本的协方差$\hat{\mathbf{\Sigma }}$不能直接将两总体数据混在一起计算，而是要分别计算出${\hat{\mathbf{\Sigma }}}_1,{\hat{\mathbf{\Sigma }}}_2$，然后利用公式$$\hat{\mathbf{\Sigma }}=\frac{1}{n_1+n_2-2}((n_1-1){\hat{\mathbf{\Sigma }}}_1+(n_2-1){\hat{\mathbf{\Sigma }}}_2)$$
2. 当${\mathbf{\Sigma }}_1\ne {\mathbf{\Sigma }}_2$时，判别函数为$$w(\mathbf{x})=(\mathbf{x}-{\mathbf{\mu }}_2{)}^{\mathbf{T}}{\mathbf{\Sigma }}_2^{-1}(\mathbf{x}-{\mathbf{\mu }}_2)-(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\mathbf{T}}{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)$$

4.2 Fisher判别
Fisher判别的基本思想是投影，即将表面上不易分类的数据通过投影到某个方向上，使得投影类与类之间得以分类的一种判别方法。
考虑两个p维总体$X_1,X_2$，Fisher的判别思想是变换多元观测$\mathbf{x}$到一元观测y，使得由总体$X_1,X_2$产生的y尽可能地分离开来。设$\mathbf{a}$为p维实向量，$\mathbf{x}$的线性组合为$y={\mathbf{a}}^{\mathbf{T}}\mathbf{x}$，$X_1,X_2$的均值为${\mathbf{\mu }}_1,{\mathbf{\mu }}_2$，且有公共的协方差矩阵$\mathbf{\Sigma }$，则线性组合的均值和方差为$${\mu }_{y1}={\mathbf{a}}^{\mathbf{T}}{\mathbf{\mu }}_1,{\mu }_{y2}={\mathbf{a}}^{\mathbf{T}}{\mathbf{\mu }}_2,{\sigma }_y^2={\mathbf{a}}^{\mathbf{T}}\mathbf{\Sigma }\mathbf{a}$$考虑比$$\frac{({\mu }_{y1}-{\mu }_{y2}{)}^2}{{\sigma }_y^2}=\frac{[{\mathbf{a}}^{\mathbf{T}}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2){]}^2}{{\mathbf{a}}^{\mathbf{T}}\mathbf{\Sigma }\mathbf{a}}$$根据Fisher的思想，要选择$\mathbf{a}$使得该式达到最大。当选取$\mathbf{a}={\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)$时达到最大，此时线性函数$$y={\mathbf{a}}^{\mathbf{T}}\mathbf{x}=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}\mathbf{x}$$称为Fisher线性判别函数。令$K=\frac{1}{2}({\mu }_{y1}+{\mu }_{y2})$，有${\mu }_{y1}-K>0,{\mu }_{y2}-K<0$，得到Fisher判别规则为$$\mathbf{x}\in \{\begin{array}{l}{\mathbf{X}}_1,{\mathbf{a}}^{\mathbf{T}}\mathbf{x}⩾K\\ {\mathbf{X}}_2,{\mathbf{a}}^{\mathbf{T}}\mathbf{x}<K\end{array}$$定义判别函数$$W(\mathbf{x})=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}\mathbf{x}-K=[\mathbf{x}-\frac{1}{2}({\mathbf{\mu }}_1+{\mathbf{\mu }}_2){]}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)$$则判别规则可改写成$$\mathbf{x}\in \{\begin{array}{l}{\mathbf{X}}_1,W(\mathbf{x})⩾0\\ {\mathbf{X}}_2,W(\mathbf{x})<0\end{array}$$这里的Fisher判别与距离判别一样不需要知道总体的分布类型，但量总体的均值向量必须有显著的差异，否则判别无意义。

4.3 Bayes判别
Bayes判别假定对研究对象已有一定的认识，这种认识常用先验概率来描述。当取得一个样本后，就可以用样本来修正已有的先验概率分布，得出后验概率分布，再通过后验概率分布进行各种统计推断。
误判概率：设有两个总体$X_1$和$X_2$，分别具有概率密度函数$f_1(\mathbf{x})$和$f_2(\mathbf{x})$，根据某个判别规则，将实际上为$X_1$的个体判为$X_2$，或将实际上为$X_2$的个体判为$X_1$的概率就是误判概率。一个好的判别规则应该使误判概率最小。
误判损失：一般把$X_1$的个体判为$X_2$，和把$X_2$的个体判为$X_1$所造成的损失不同。因此一个好的判别规则还必须使误判损失最小。
某样本实际是来自$X_1$，但是被判给$X_2$的概率为$P(2|1)$，来自$X_2$，但是被判给$X_1$的概率为$P(1|2)$。类似地，来自$X_1$被判给$X_1$的概率为$P(1|1)$，来自$X_2$被判给$X_2$的概率为$P(2|2)$。设$p_1,p_2$分别表示总体$X_1,X_2$的先验概率，有$p_1+p_2=1$，于是有$$\begin{gathered} P(正确判给X_1)=P(1|1)\cdot p_1,P(误判给X_1)=P(1|2)\cdot p_2, \\ P(正确判给X_2)=P(2|2)\cdot p_2,P(误判给X_2)=P(2|1)\cdot p_1 \end{gathered}$$设$L(1|2)$表示来自$X_2$误判给$X_1$引起的损失，$L(2|1)$表示来自$X_1$误判给$X_2$引起的损失，并规定$L(1|1)=L(2|2)=0$。定义平均误判损失ECM为：$$\mathrm{ECM}(R_1,R_2)=L(2|1)P(2|1)p_1+L(1|2)P(1|2)p_2$$一个合理的判别规则应使ECM达到最小。记$\Omega$为x的所有可观测值得全体，称为样本空间，$R_1$为要判为$X_1$的那些x全体，$R_2=\Omega -R_1$为要判为$X_2$的那些x全体。要选择样本空间$\Omega$的一个划分$R_1,R_2$使平均误判损失达到最小。两总体的Bayes判别准则为：$$\mathbf{x}\in \{\begin{array}{l}{\mathbf{X}}_1,\frac{f_1(\mathbf{x})}{f_2(\mathbf{x})}⩾\frac{L(1|2)}{L(2|1)}\cdot \frac{p_2}{p_1}\\ {\mathbf{X}}_2,\frac{f_1(\mathbf{x})}{f_2(\mathbf{x})}<\frac{L(1|2)}{L(2|1)}\cdot \frac{p_2}{p_1}\end{array}$$应用此准则时仅需计算：① 新样本点${\mathbf{x}}_0$的密度函数比$f_1({\mathbf{x}}_0)/f_2({\mathbf{x}}_0)$ ② 损失比$L(1|2)/L(2|1)$ ③ 先验概率比$p_2/p_1$ 。

将上述的两总体Bayes判别应用于正态总体$X_i\sim N_p({\mathbf{\mu }}_{\mathbf{i}},{\mathbf{\Sigma }}_{\mathbf{i}}),i=1,2$，分方差是否相等来讨论：

1. ${\mathbf{\Sigma }}_1={\mathbf{\Sigma }}_2=\mathbf{\Sigma }$，此时使平均误判损失极限的划分为$$\{\begin{array}{l}{R}_1=\left\{\mathbf{x}:\mathbf{W}(\mathbf{x})⩾\beta \right\}\\ R_2=\left\{\mathbf{x}:\mathbf{W}(\mathbf{x})<\beta \right\}\end{array}$$式中$W(\mathbf{x})=[\mathbf{x}-\frac{1}{2}({\mathbf{\mu }}_1+{\mathbf{\mu }}_2){]}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2),\beta =\ln \frac{L(1|2)\cdot p_2}{L(2|1)\cdot p_1}$，称为Anderson线性判别函数。可以发现$\mathbf{W}(\mathbf{x})$与Fisher判别和马氏距离判别的线性判别函数是一致的，判别规则仅是判别限不一样。
2. ${\mathbf{\Sigma }}_1\ne {\mathbf{\Sigma }}_2$，此时使平均误判损失极限的划分为$$\{\begin{array}{l}{R}_1=\left\{\mathbf{x}:\mathbf{W}(\mathbf{x})⩾K\right\}\\ R_2=\left\{\mathbf{x}:\mathbf{W}(\mathbf{x})<K\right\}\end{array}$$式中$$\begin{array}{l}W(\mathbf{x})=-\frac{1}{2}{\mathbf{x}}^{\mathrm{T}}\left({\mathbf{\Sigma }}_1^{-1}-{\mathbf{\Sigma }}_2^{-1}\right)\mathbf{x}+\left({\mathbf{\mu }}_1^{\mathrm{T}}{\mathbf{\Sigma }}_1^{-1}-{\mathbf{\mu }}_2^{\mathrm{T}}{\mathbf{\Sigma }}_2^{-1}\right)\mathbf{x}\\ K=\ln \left(\frac{L(1|2)p_2}{L(2|1)p_1}\right)+\frac{1}{2}\ln \frac{\left|{\mathbf{\Sigma }}_1\right|}{\left|{\mathbf{\Sigma }}_2\right|}+\frac{1}{2}\left({\mathbf{\mu }}_1^{\mathrm{T}}{\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1-{\mathbf{\mu }}_2^{\mathrm{T}}{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2\right)\end{array}$$此时判别函数$\mathbf{W}(\mathbf{x})$是关于$\mathbf{x}$的二次函数，比${\mathbf{\Sigma }}_1={\mathbf{\Sigma }}_2$时得情况复杂得多。

syms x1 x2;	x=[x1 x2];		%定义x1,x2为变量
%sym函数：可通过t=sym('x');f=t^2;将f定义为变量x的二次函数，返回值为sym类型（符号类型）
%syms函数：可通过syms x1,x2定义变量，或通过syms f(x);f=x^2;直接定义f为x的二次函数
%想绘制符号函数可使用ezplot()绘制二维函数，或ezsurf()绘制三维函数
wx=(x-0.5*(mu1+mu2))*inv(sig)*(mu1-mu2)';		%构造判别函数
wx=vpa(wx,6)		%将函数wx的每个元素计算到6位有效数字
ahat=subs(wx,{x1,x2},{a(:,1),a(:,2)})';		%用输入的第3项代替第2项以计算第1项
%%%%%%%%%%%%%还可以直接用MATLAB工具箱中的分类函数classify用其他方法进行分类%%%%%%%%%%%%
[x1,y1]=classify(sample,train,group,'linear',prior)		%线性分类
[x2,y2]=classify(sample,train,group,'quadratic',prior)		%二次分类
%输入参数sample一般为未知样本，也可以回代检验误判；train为已知样本；group为样本类别标识；priority为已知样本的先验概率
%返回值x1为sample的分类类别，y1为误判率，输入的第4个参数为'mahalanobis'代表马氏距离分类

5. 典型相关分析

通常情况下，为研究两组变量的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，这样既繁琐又不能抓住问题本质。于是采用类似PCA的思想，分别找出两组变量各自的某个线性组合，使该对线性组合有最大相关性，然后在两组变量中找出第二对线性组合，使其分别与本组内第一对线性组合不相关，第二对线性组合本身具有次大相关性。如此继续下去，直至进行到r步，两组变量的相关性被提取完为止，可得到r组变量。

5.1 典型相关的数学描述
描述两组随机变量$\mathbf{X}=[x_1,x_2,\cdots ,x_p{]}^T$与$\mathbf{Y}=[y_1,y_2,\cdots ,y_q{]}^T$之间的相关程度使用复相关系数。先将每一组随机变量线性组合，成为两个随机变量$$\mathbf{u}={\mathbf{\rho }}^{\mathbf{T}}\mathbf{X}=\sum _{i=1}^p{\rho }_i{x}_i,\mathbf{v}={\mathbf{\gamma }}^{\mathbf{T}}\mathbf{Y}=\sum _{j=1}^q{\gamma }_j{y}_j$$再研究$\mathbf{u}$和$\mathbf{v}$的相关系数$r_{uv}$，取在${\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}\mathbf{\rho }=1$和${\mathbf{\gamma }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}\mathbf{\gamma }=1$的条件下使$r_{uv}$达到最大的$\mathbf{\rho },\mathbf{\gamma }$作为投影向量，这样得到的相关系数为复相关系数$$r_{uv}=\underset{\genfrac{}{}{0ex}{}{{\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}\mathbf{\rho }=1}{{\mathbf{\gamma }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}\mathbf{\gamma }=1}}{\max }{r}_{uv}(\mathbf{\rho },\mathbf{\gamma })=\underset{\genfrac{}{}{0ex}{}{{\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}\mathbf{\rho }=1}{{\mathbf{\gamma }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}\mathbf{\gamma }=1}}{\max }{\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}\mathbf{\gamma }$$根据条件极值的求法引入拉格朗日乘数，将问题转化为求$$S(\mathbf{\rho },\mathbf{\gamma })={\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}\mathbf{\gamma }-\frac{\lambda }{2}({\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}\mathbf{\rho }-1)-\frac{\omega }{2}({\mathbf{\gamma }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}\mathbf{\gamma }-1)$$的极大值，其中$\lambda ,\omega$是拉格朗日乘数。由极值的必要条件为$$\frac{\partial S}{\partial \mathbf{\rho }}=0,\frac{\partial S}{\partial \mathbf{\gamma }}=0$$由该式计算得$\lambda =\omega ={\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}\mathbf{\gamma }=r_{uv}$，带入可得$$({\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}^{-1}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{X}}-{\mathbf{\lambda }}^2{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}})\mathbf{\rho }=0,({\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{X}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}^{-1}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}-{\mathbf{\lambda }}^2{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}})\mathbf{\gamma }=0$$记$${\mathbf{M}}_1={\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}^{-1}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}^{-1}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{X}},{\mathbf{M}}_2={\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}^{-1}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{X}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}^{-1}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}$$得$${\mathbf{M}}_1\mathbf{\rho }={\mathbf{\lambda }}^2\mathbf{\rho },{\mathbf{M}}_2\mathbf{\gamma }={\mathbf{\lambda }}^2\mathbf{\gamma }$$说明${\lambda }^2$既是$M_1$又是$M_2$的特征根，$\mathbf{\rho },\mathbf{\gamma }$就是其相应于$M_1,M_2$的特征向量。$M_1,M_2$的特征根非负，均在[0,1]上，非零特征根的根数为$s=\min (p,q)$，设特征根排序为${\lambda }_1^2⩾{\lambda }_2^2⩾\cdots ⩾{\lambda }_s^2$，称${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s$为典型相关系数。相应地，由所解出的特征向量线性组合得到的变量$u_i,v_i,i=1,2,\cdots ,s$，称每一对变量为典型变量，记$\mathbf{U}=[u_1,u_2,\cdots ,u_s],\mathbf{V}=[v_1,v_2,\cdots ,v_s]$。求典型相关系数和典型变量归结为求$M_1,M_2$的特征根和特征向量。计算时也可用相关系数矩阵$\mathbf{R}$代替协方差阵进行求解。
还可以证明$$\mathrm{Cov}(u_i,u_j)=\mathrm{Cov}(v_i,v_j)={\delta }_{ij},\mathrm{Cov}(u_i,v_j)={\lambda }_i{\delta }_{ij}$$

5.2 原始变量与典型变量之间的相关性
5.2.1 原始变量与典型变量之间的相关系数$$\begin{gathered} r(x_i,u_j)=\sum _{k=1}^p{\alpha }_{kj}\mathrm{Cov}(x_i,x_k)/\sqrt{D(x_i)},j=1,\cdots ,s \\ r(x_i,v_j)=\sum _{k=1}^q{\beta }_{kj}\mathrm{Cov}(x_i,y_k)/\sqrt{D(x_i)},j=1,\cdots ,s \\ r(y_i,u_j)=\sum _{k=1}^p{\alpha }_{kj}\mathrm{Cov}(y_i,x_k)/\sqrt{D(y_i)},j=1,\cdots ,s \\ r(y_i,v_j)=\sum _{k=1}^q{\beta }_{kj}\mathrm{Cov}(y_i,y_k)/\sqrt{D(y_i)},j=1,\cdots ,s \end{gathered}$$式中${\alpha }_{kj}$为向量 ρ j \bm{\rho}_j