应用多元分析复习笔记

应用多元分析复习笔记

Created: May 23, 2022 10:11 AM

第一章**. 随机向量**

一个向量的分量全是随机变量，则称之为随机向量

1.1 多元分布的一些概念

• 多元概率密度分布
  • 多项分布
  • 多元超几何分布
• 多元概率密度函数
• 边缘分布
• 条件分布
• 独立性

1.2 数字特征

• 数学期望

  矩阵的每个元素都是随机变量称为随机矩阵

• 协方差矩阵

  表示随机变量之间的线性联系程度

  • 协方差矩阵的判断方法：

  1. 对称性cov(x,y)与cov(y,x)互为转置；

  2. 计算相关矩阵（除了对角元素外小于1）

  • 不相关
  • 条件协方差矩阵
  • 性质

  1. 非负定矩阵；

  2. 线性性质 ；

  3. 方差相等的两个随机变量的和与差是不相关的；

  4. 行列式等于0时，以概率1存在线性关系

  $$\begin{gathered} V(AX+b)=AV(x)A^{\prime } \\ Cov(Ax,By)=ACov(x,y)B^{\prime } \end{gathered}$$

• 相关矩阵

  随机变量之间的线性依赖关系强弱

  • 相关系数 正负相关性
  • 不随各变量度量单位的改变而变化，元素是无单位的纯数值
  • 相关矩阵与协方差矩阵
  • 标准化后的协方差矩阵是原始向量的相关矩阵，非负定矩阵

• 随机变量的数字特征：

  期望，方差，矩，分位数，偏度，峰度，变异系数

• 总变异性的度量

  • 单个随机变量的变异性

  方差可以描述单个随机变量的变异程度

  • 随机变量的变异性

  总方差 $tr(\Sigma )=\sum ({\sigma }_{ii})$

  1. 广义方差
     • 广义方差的概念
       • 最常用的度量：$|\Sigma |$
  • 广义方差的解释
    • 几何解释：(x-)'∑^{-1}(x-)=c²
      相应超椭球的体积体积是广义方差的常数倍当其中最小特征值为接近0时，体积也接近于0
    • $|\Sigma |=({\sigma }_{11}{\sigma }_{22}...{\sigma }_{pp})|R|=({\sigma }_{11}{\sigma }_{22}...{\sigma }_{pp})({\lambda }_1^{\ast }{\lambda }_2^{\ast }...{\lambda }_p^{\ast })$
       前者依赖于x各分类的方差，后者与x个分类直接线性依赖关系相关，因此**若广义方差很小，意味着x有变异程度很小的分量或其分量之间存在多重共线性

1.3 距离

• 欧式距离

  $d^2(x,y)=(x-y{)}^{\prime }(x-y)$

  • 几何：两点之间的距离，若各分量之间单位不全相同，之间使用是没有意义的
    • 应从平均意义上来看各项所起作用的大小；
    • 变异性大的分量在平方和中起的作用就大；实际问题若变异性相差过大则使得计算欧式距离没有意义
    • 几何意义上：散布程度，方差大的散布程度大，标准化使得在变量轴上相对压缩，散布程度小的变量拉伸，大的压缩，使得各个变量散布程度一致。

• 马氏距离

  $d^2(x,y)=(x-y{)}^{\prime }\Sigma (x-y)$

  • 克服变量之间相关性对距离计算的不利影响
    • 马氏距离对于p维向量x度量单位改变具有不变性
      也即线性变换的不变性。
    • 马氏距离是一个与各变量度量单位无关的纯数值；
      各分类不相关时马氏距离即为各分量经标准化后的欧式距离
      相关系数为单位矩阵时退化为欧式距离
  • 注：定义中，x不一定必须要来自π总体

第二章. 多元正态分布

2.1 多元正态分布定义

$\ast \ast f(x)=(2\pi {)}^{-p/2}|\Sigma {|}^{-1/2}{e}^{-\frac{1}{2}(x-\mu {)}^{\prime }{\Sigma }^{-1}(x-\mu )}\ast \ast$

• 几何图像：

  $f(x_1,x_2)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}exp\{-\frac{1}{2(1-{\rho }^2)}[(\frac{x_1-{\mu }_1}{{\sigma }_1}{)}^2-2\rho (\frac{x_1-{\mu }_1}{{\sigma }_1})(\frac{x_2-{\mu }_2}{{\sigma }_2})+(\frac{x_2-{\mu }_2}{{\sigma }_2}{)}^2\}$

  • 二元正态情形下几何等高线：

    概率密度等高线是一个椭圆；
    相关系数$|\rho |$值越大，长轴越长，短轴越短，椭圆越扁平，等高线为同中心同方向的椭圆

  • 指数上的马氏距离：

    x处的密度值完全取决于d²的大小，离越远，密度越小，越近密度越大；

2.2 多元正态分布的性质

1. 多元正态分布的边缘分布为多元正态分布；但边缘分布均为正态不一定是正态分布

2. $x\sim N_p(\mu ,\Sigma ),y=Cx+b,C是r\times p常数矩阵,b为r维常数向量，则y\sim N_r(C\mu +b.C\Sigma C^{\prime })$

3. 各个元素之间给定元素条件下的均值与方差s

   $$\begin{gathered} {\mu }_{1.2}={\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}(x_2-{\mu }_2) \\ {\Sigma }_{11.2}={\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21} \end{gathered}$$

（注意）

1. 正态变量的线性组合不一定是正态变量
2. 正态变量之间互不相关与相互独立不等价，有反例

Normally distributed and uncorrelated does not imply independent - Wikipedia

2.3 极大似然估计及估计量的性质

• 估计量的性质
  • 无偏性
    • 期望是无偏的
    • 方差是有偏的
    • 样本系数是有偏的，但一般来说当样本足够大时偏差影响可以忽略
      • 除了可用来对相应的总体参数值进行估计，常常可以用于多元样本数据做数值概括的描述；样本协方差和样本相关系数对异常值非常敏感；且不适用于变量间存在明显非线性结合模式的场合
  • 有效性
    • 一致最小方差无偏估计：单变量
    • 一致最优无偏估计：被估的未知参数不止一个
  • 一致性
    • 也称相合性（估计），大样本情景下矩估计都有此性质，但对于小样本来说不能成为评价估计量好坏的准则
  • 充分性
    • 信息一点不损失充分提取

一致最优无偏性与充分性需要正态性假设

第三章. 多元正态总体的统计推断

不一定必须要依赖于总体的正态分布

3.1 一元情景

• 均值的置信区间与假设检验

  • sigma已知时，正态u检验 $u=\frac{\overline{x}-{\mu }_0}{\sigma /\sqrt{n}}$

  • sigma未知时，t检验 $t(n-1)=\frac{\overline{x}-{\mu }_0}{s/\sqrt{n}}$

  • 正态总体均值 $s_p^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}$

  • 两个正态总体均值之差

    $$\begin{gathered} u=\frac{\overline{x}-\overline{y}}{\sqrt{{\sigma }_1^2/n_1+{\sigma }_2^2/n_2}} \\ t(n_1+n_2-2)=\frac{\overline{x}-\overline{y}}{s_p\sqrt{1/n_1+1/n_2}} \end{gathered}$$

    • t²(n-1)可以看成F(1,n-1)

• 假设检验与置信区间

  $H_0:\mu ={\mu }_0,H_1:\mu \ne {\mu }_0$

  • 结果与被检验值偏离真值程度有关，也与样本容量大小有关：
    n越小，置信区间越宽；n越大，置信区间越宽
  • 对于过大n，也可能存在拒绝原假设，但这只表明存在统计学意义上的差异，科学意义上无关紧要，并不是科学上的差异；n较小时，就需要偏离很大才能拒绝。因此n过大时拒绝和n过小时接受，说明不了问题，检验没有实际意义。

• 多个总体均值的方差分析

  • $\ast \ast SST={\sum }_{i=1}^k{\sum }_{j=1}^{n_i}(x_{ij}-\overline{x}{)}^2$ 总平方和自由度n-1，反应所有数据之间的总变异程度**
  • $\ast \ast SSE={\sum }_{i=1}^k{\sum }_{j=1}^{n_1}(x_{ij}-{\overline{x}}_i{)}^2$ 误差（组内）平方和自由度n-k，各总体内数据的变异程度**
  • $\ast \ast SSTR={\sum }_{i=1}^k{n}_i({\overline{x}}_i-\overline{x}{)}^2$处理（组间）平方和k-1，（原假设不真时）各总体均值之间的差异程度**
    n是所有的数据个数，k是种类数

  $$\begin{gathered} SST=SSE+SSTR \\ F=\frac{SSTR/(k-1)}{SSE/(n-k)}\sim F(k-1,n-k) \end{gathered}$$

3.2 单个总体均值的推断

• 均值向量的检验

  $x_1,...x_p来自多元正态总体N_p(\mu ,\Sigma )的一个样本，检验H_0:\mu ={\mu }_0,H_1:\mu \ne {\mu }_0$

  • ∑已知时

    • 卡方检验 $T_0^2=n(\overline{x}-{\mu }_0{)}^{\prime }{\Sigma }^{-1}(\overline{x}-{\mu }_0)\sim {\chi }^2(p)$
      • 平方马氏距离，不受单位的影响，距离越大倾向于拒绝H0
    • 霍特林检验
      • T²分布与∑无关

  • ∑未知时

    $T_0^2=n(\overline{x}-{\mu }_0{)}^{\prime }{S}^{-1}(\overline{x}-{\mu }_0)$：霍特林T²统计量

    • 霍特林T²检验

      $$\begin{gathered} \frac{n-p}{p(n-1)}{T}^2\sim F(p,n-p) \\ \frac{n-p}{p(n-1)}{T}^2\ge F_{\alpha }(p,n-p)拒绝H_0 \end{gathered}$$

    • 联合置信区间

    $x_1...x_n\sim N_p(\mu ,\Sigma ),y_i=a^{\prime }{x}_i来自N(a^{\prime }\mu ,a^{\prime }\Sigma a)样本$

    1. $a^{\prime }\overline{x}-T_{\alpha }(p,n-1)\sqrt{a^{\prime }Sa}/\sqrt{n}\le a^{\prime }\mu \le a^{\prime }\overline{x}+T_{\alpha }(p,n-1)\sqrt{a^{\prime }Sa}/\sqrt{n}$ 对一切a成立，一切置信区间的$1-\alpha$联合置信区间
    2. Bonferroni检验改进(适用于k较小的情况，上面的置信区间较宽）

    $a^{\prime }\overline{x}-t_{\alpha /k}(n-1)\sqrt{a^{\prime }Sa}/\sqrt{n}\le a^{\prime }\mu \le a^{\prime }\overline{x}+t_{\alpha /k}(n-1)\sqrt{a^{\prime }Sa}/\sqrt{n}$

    1. 区别：1范围是个椭圆，2范围是个方形，1对一个变量的坐标轴投影大于2，但2整体的面积大于1
    2. 拉奥悖论，由于椭圆与方形的中间空隙，因此会存在接受1而拒绝2的存在取值
    • 注意k较大时用的是T²检验，区间个数不会影响分位数的平方根，所以在确定的分位数内会包含无穷多个置信区间；
      k较小时使用的是Bonferroni的t检验提高精度，区间个数越多，涉及的分位数越大
      • T²检验是一个椭圆，t检验是正方形，对于坐标轴上的投影来说，t检验更精确，但T²的椭圆面积明显小于t检验的正方形面积

3.3 两个总体均值的比较推断

• 两个独立样本$H_0:{\mu }_1={\mu }_2,H_1:{\mu }_1\ne {\mu }_2$

  $T^2=(\frac{1}{n_1}+\frac{1}{n_2}{)}^{-1}(\overline{x}-\overline{y}{)}^{\prime }{S}_p^{-1}(\overline{x}-\overline{y})$

  $\frac{n_1+n_2-p-1}{p(n_1+n_2-2)}{T}^2\sim F(p,n_1+n_2-p-1)$

  • 1与2存在显著差异，并不意味着它们存在显著差异的分量在同样水平下存在显著性差异。
    一般是1与2存在显著差异，则存在一个系数向量a，a1与a2存在显著性差异。

• 成对实验，$d_i=x_i-y_i$此时假设检验为：$H_0:\delta =0,H_1:\delta \ne 0$

  • 成对出现的数据之间不相互独立，通过作差排除其他因素的影响，对差di数据进行T²检验
  • 不需要假定x,y两者都服从正态分布

  $$\begin{gathered} T^2=n{\overline{d}}^{\prime }{S}_d^{-1}\overline{d},\overline{d}=\overline{x}-\overline{y},S_d=\frac{1}{n-1}{\sum }_{i=1}^n(d_i-\overline{d})(d_i-\overline{d}{)}^{\prime } \\ {T}_{\alpha }^2(p,n-1)=\frac{p(n-1)}{n-p}{F}_{\alpha }(p,n-p) \end{gathered}$$

3.4 轮廓分析

$(1,{\mu }_1),(2,{\mu }_2),...(p,{\mu }_p)$称为总体的轮廓

• 单总体的轮廓分析

  • C矩阵，对比矩阵$\left[\begin{array}{ccccc}1& -1& 0& ...& 0\\ 0& 1& -1& ...& 0\\ & & ...& & \\ 1& 0& 0& ...& -1\end{array}\right]或\left[\begin{array}{ccccc}1& -1& 0& ...& 0\\ 1& 0& -1& ...& 0\\ & & ...& & \\ 1& 0& 0& ...& -1\end{array}\right]$
  • C矩阵乘上后进行T²检验$T^2(p-1,n-1)=n{\overline{x}}^{\prime }{C}^{\prime }(CS{C}^{\prime }{)}^{-1}C\overline{x}$
  • 检验问题：轮廓是水平的

• 两总体的轮廓分析

  (1).两轮廓外表相似，是否平行；

  $$\begin{gathered} c=\left[\begin{array}{ccccc}1& -1& 0& ...& 0\\ 0& 1& -1& ...& 0\\ & & ...& & \\ 1& 0& 0& ...& -1\end{array}\right],H_0:C{\mu }_1={\mu }_2,H_1:C{\mu }_1\ne C{\mu }_2, \\ {T}^2(p-1,n_1+n_2-2)=\frac{n_1{n}_2}{n_1+n_2}(\overline{x}-\overline{y}{)}^{\prime }{C}^{\prime }(C{S}_p{C}^{\prime }{)}^{-1}C(\overline{x}-\overline{y}) \end{gathered}$$
  (2).假如两轮廓平行，是否重合;

  $$\begin{gathered} C=1^{\prime },H_{02}:\frac{{\sum }_{i=1}^p{\mu }_{1i}}{p}=\frac{{\sum }_{i=1}^p{\mu }_{2i}}{p}, \\ t(n_1+n_2-2)=\frac{1^{\prime }(\overline{x}-\overline{y})}{\sqrt{(\frac{1}{n_1}+\frac{1}{n_2})1^{\prime }{S}_{p}1}} \end{gathered}$$
  (3).假如两轮廓重合，是否水平.

  $$\begin{gathered} \overline{z}=\frac{n_1}{n_1+n_2}\overline{x}+\frac{n_2}{n_1+n_2}\overline{y},C=\left[\begin{array}{ccccc}1& -1& 0& ...& 0\\ 1& 0& -1& ...& 0\\ & & ...& & \\ 1& 0& 0& ...& -1\end{array}\right]， \\ {H}_{03}:C\mu =0,H_{13}:C\mu \ne 0 \\ {T}^2(p-1,n_1+n_2-1)=(n_1+n_2){\overline{z}}^{\prime }{C}^{\prime }(CS{C}^{\prime }{)}^{-1}C\overline{z} \end{gathered}$$

  • 先检验两者轮廓的平行性（1），在接受轮廓的平行假设后，检验轮廓是否重合（2），最后在接受两个轮廓重合的前提下检验共同轮廓水平（3）

3.5 多元方差分析

• 多元方差分析是一元方差分析的直接推广，但多元方差分析的检验统计量并不唯一，有多个。
• 一些假定：各总体为正态总体；各总体协方差矩阵相同，各总体的样本彼此独立

1. $SST={\sum }_{i=1}^k{\sum }_{j=1}^{n_1}(x_{ij}-\overline{x})(x_{ij}-\overline{x}{)}^{\prime }={\sum }_{i=1}^3{\sum }_{j=1}^{n_i}{x}_{ij}{x}_{ij}^{\prime }-n\overline{x}{\overline{x}}^{\prime }$ 总平方和及叉积和矩阵
2. $SSE={\sum }_{i=1}^k{\sum }_{j=1}^{n_i}(x_{ij}-{\overline{x}}_i)(x_{ij}-{\overline{x}}_i{)}^{\prime }=(n-1)\sum S_i(各个组内n相同时)$ 误差平方和及叉积和矩阵（组内矩阵）
3. $SSR={\sum }_{i=1}^k{n}_i({\overline{x}}_i-\overline{x})({\overline{x}}_i-\overline{x}{)}^{\prime }=n({\sum }_{i=1}^k{\overline{x}}_i{\overline{x}}_i^{\prime }-k\overline{x}\overline{x})$ 处理平方和及叉积和矩阵（组间矩阵）
   T=E+H
   wilks统计量|$\Lambda =\frac{|E|}{|T|}$，服从$\Lambda (p,k-1,n-k)$的分布，H=0时等于1

第四章. 判别分析

4.1 距离判别

$\ast \ast d^2(x,{\pi }_1)-d^2(x,{\pi }_2)\ast \ast$

欧式距离未能将变量之间的相关性考虑在内，结果不合理；马氏距离可以弥补不足

• 两组距离${\pi }_1,{\pi }_2$的判别

  • 协方差相等时的判别${\Sigma }_1={\Sigma }_2=\Sigma$

    $d^2(x,{\pi }_1)-d^2(x,{\pi }_2)=-2a^{\prime }(x-\overline{\mu }),a={\Sigma }^{-1}({\mu }_1-{\mu }_2),\overline{\mu }=1/2({\mu }_1+{\mu }_2)$

    • $W(x)=a^{\prime }(x-\overline{\mu })$ 判别函数/线性判别函数
    • a是判别系数向量
    • 误判概率

    $$\begin{gathered} {\Delta }^2=({\mu }_1-{\mu }_2{)}^{\prime }{\Sigma }^{-1}({\mu }_1-{\mu }_2)=a^{\prime }({\mu }_1-{\mu }_2)=a^{\prime }\Sigma a \\ W(x)\sim N(1/2\Delta ,{\Delta }^2) \\ P(W(x)\ge 0)=\Phi (-\frac{\Delta }{2}) \end{gathered}$$

    因此两组分的越开，判别效果越佳，

    • 回代法
      • 简单直观易于计算；
        在n不是很大时，给出的估计值通常偏低；
        偏低的误判率
    • 划分样本
      • 样本一分为二：一部分作为训练样本，构造判别函数；一部分作为验证样本，评估判别函数；
        缺陷：大样本；损失较多有价值信息，误判概率高于使用所有数据构造的判别函数
    • 交叉验证法/刀切法
      • 最值得推荐，计算量有些大

  • 协方差不相等时的判别

    • 基本思路还是两个距离相减进行判别

  • 除非分离的很好，不然距离判别不太有效

• 多组距离的判别

  • 协方差阵相等情景：

    • $d^2(x,{\pi }_i)=(x-{\mu }_i{)}^{\prime }{\Sigma }^{-1}(x-{\mu }_i)=x^{\prime }\Sigma -2(I_i^{\prime }x+c_i)$
    • $判别规则为找到ma{x}_{1\le i\le j}(I_i^{\prime }x+c_i),I_i={\Sigma }^{-1}{\mu }_i,c_i=-\frac{1}{2}{\mu }_i^{\prime }{\Sigma }^{-1}{\mu }_i$

    实际中用样本期望和协方差矩阵代替总体的期望和协方差矩阵
    步骤上可以先进行多元方差分析，若均值有显著性差异，则可以进行多组距离的判别

    • 方法：线性判别（基于协方差矩阵相等的假定）与二次判别（不全相等的假定）
      策略：1. 样本容量较小，选择线性判别函数；2. 容量较大时，选择二次判别函数，各个协方差可以得到较精确的估计。
      1. 齐次性检验，需要各组的正态性假定，若不满足正态性假定，检验较为困难；检验结果只能作为重要的参考依据，不宜作为决定性依据

4.2 贝叶斯判别

• 最大后验概率法

  • $P({\pi }_i|x)=\frac{p_i{f}_i(x)}{{\sum }_{j=1}^k{p}_j{f}_j(x)}$,最大后验则是$\underset{{\pi }_l}{\mathrm{argmax}}P({\pi }_i|x)$

  • k组正态情形$P({\pi }_i|x)=\frac{exp[-0.5D^2(x,{\pi }_i)}{{\sum }_{j=1}^{k}exp[-0.5D^2(x,{\pi }_j)]}$，不一定需要正态假定
    D²广义平方距离

    $D^2=d^2(x,{\pi }_i)+g_i(如果\Sigma 不全相等则为ln|{\Sigma }_i|，全相等为0)+h_i(如果p_i不全相等为-2lnp，全相等为0)$

    ∑i全相等时，化为

    $\max (I_i^{\prime }x+c_i+ln{p}_i)，Ii={\Sigma }^{-1}\mu ,ci=0.5{\mu }_i^{\prime }{\Sigma }^{-1}{\mu }_i$

    • 基于线性判别函数且不受变量单位影响；
      对于正态组且各协方差矩阵相同时，距离判别等价于各先验概率相同的贝叶斯判别。

• 最小期望误判代价法

  最大后验概率法没有涉及误判代价，在各误判代价明显不同的场合下，判别就不适宜了

  • 两组一般情形
    • π1的样品被误判到π2条件概率：P(2|1)
      平均/期望误判代价$ECM=c(2|1)p_{1}P(2|1)+c(1|2)p_{2}P(1|2)$
      最小ECM需要三个比值：密度函数比，误判代价比（最富有实际意义）和先验概率比。
    • $\frac{f_1(x)}{f_2(x)}\ge \frac{c(1|2)p_2}{c(2|1)p_1}$将x判给${\pi }_1$,$\frac{f_1(x)}{f_2(x)}<\frac{c(1|2)p_2}{c(2|1)p_1}$判给${\pi }_2$
    • 当误判概率c相同或未知（假定相同），此时判别规则是将使总的误判概率（=ECM/c)达到最小，为最小总误判概率判别规则。
    • 当$\frac{p_1}{p_2}=\frac{c(1|2)}{c(2|1)}$时，一般p=0.5，判别规则是使平均误判概率达到最小，但未必是使总概率达到最小。
  • 两个正态组

    • 协差阵相等情形：

      $a^{\prime }(x-\mu )\ge ln[\frac{c(1|2)p_2}{c(2|1)p_1}]$判x为${\pi }_1$,$a^{\prime }(x-\mu )<ln[\frac{c(1|2)p_2}{c(2|1)p_1}]$判x为${\pi }_2$
      距离判别等价于正态组和协差阵相等时不考虑先验概率和误判代价的贝叶斯判别。
      在两组皆为正态组且协方差相等时，距离判别规则在使两个误判概率之和达到最小意义上是最优的

    • 协差阵不相等时

      $d^2(x,{\pi }_1)-d^2(x,{\pi }_2)\le ln[\frac{c(2|1)p_1|{\Sigma }_2{|}^{1/2}}{c(2|1)p_1|{\Sigma }_1{|}^{1/2}}]$判x为${\pi }_1$,

      $d^2(x,{\pi }_1)-d^2(x,{\pi }_2)\le ln[\frac{c(2|1)p_1|{\Sigma }_2{|}^{1/2}}{c(2|1)p_1|{\Sigma }_1{|}^{1/2}}]$判x为${\pi }_2$.
      先验概率与误判概率相同情况下，使得两个误判概率之和（平均误判概率）达到最小意义是最优的，二次函数相比于线性判别函数判别效果更依赖于多元正态性的假定

    • 误判代价是误判后果的数量表现
      最大后延概率法没有涉及误判代价，误判代价明显不同时不适宜

  • 多组情形
    • $ECM={\sum }_{i=1}^k{p}_i{\sum }_{l=1,l\ne i}^{k}c(l|i)P(l|i)$
    • 因此判别规则是${\min }_{1\le i\le k}{\sum }_{j=1,j\ne i}^k{p}_{j}c(i|j)f_j(x)$
    • 误判代价均相同时：${\max }_{1\le i\le k}{p}_i{f}_i(x)$
      最大后验概率法可以看成是误判代价均相同的最小期望误判代价法

4.3 费希尔判别

• 引言：判别变量为定量变量（也称间隔变量）

  除了分类，还可以分离，图形和代数方法描述差异性，费希尔判别用于此目的

  是否中心化都本质上都相同

• 基本思想是投影，降维，用$x=(x_1,x_2...x_p{)}^{\prime }的少数几个线性组合y_1=a_1^{\prime }x...y_r=a_r^{\prime }x代替p个变量达到降维目的$

  可用于分类也可用于分离，但在实际更多用于分离。

  有各组协方差矩阵$\Sigma$相同的假定
  $$\begin{gathered} SSTR=a^{\prime }Ha \\ SSE=a^{\prime }Ea \end{gathered}$$
  反映分离程度的量$\Delta (a)=\frac{a^{\prime }Ha}{a^{\prime }Ea}$

  a’Spa=1,判别函数的联合样本方差为1，y2在线性意义上不重复y1中的信息

  $E^{-1}H$的全部非0特征根

  费希尔第一线性判别函数$y=t_1^{\prime }x$

  当$a_i=t_i时,\Delta (a_i)到达最大值{\lambda }_i,称y_i=t_i^{\prime }x为第i判别函数$

• 特点：

  1. 各判别函数都具有单位方差
  2. 各判别函数彼此不相关
  3. 判别函数方法一般并不正交，但作图时仍把他们画成直角坐标系
  4. 判别函数不受变量单位影响
  5. 这里只关心判别函数的分离各组的能力，对其变异性不感兴趣

  在低维空间分离的好，在高维空间也分离的好；反之未必

• 判别规则：（分离时不涉及判别规则，只有在分类中才涉及）
  $min|y-\overline{y}|$
  如果使用所有s个判别函数做判别，费希尔判别等价于距离判别，自然对各组皆为正态也等价于协方差矩阵相等且先验概率和误判代价均相等的贝叶斯判别
  r

第五章. 聚类分析

• 聚类分析目的是把分类对象按一定规则分成若干类，事先未给定

• 判别与聚类:

  判别分类中，组的数目是已知；聚类是未知的

  如果组不是已有的可以通过聚类探索，聚类效果可以通过费希尔判别函数散点图直觉上评估

• Q型聚类分析：对样本

• R型聚类分析：对变量

5.1 距离与相似系数

• 间隔变量：连续的变量，也叫定量变量

• 有序变量：等级制

• 名义变量：类，无数量与等级关系

  有序和名义统称为定性变量，属性变量，分类变量

• 距离

  • 实际上是一个不相似性的度量

  • 三个条件：非负性，对称性，三角不等式（但实际应用中经常主观指定距离，可能并不满足这三个条件）

  • (都需要间隔尺度）

    1.明考夫斯基距离$d(x,y)=[{\sum }_{i=1}^p|x_i-y_i{|}^q{]}^{1/q}$

    • q=1时绝对值距离，也是城市街区距离；
    • q=2，欧式距离，
    • q=∞，切比雪夫距离
    • 欧式距离对异常值敏感，但绝对值距离对异常值相对不太敏感,q越大，差值大的起的作用越大。

    1. 兰氏距离$d(x,y)={\sum }_{i=1}^p\frac{|x_i-y_i|}{x_i+y_i}$

       与各变量的单位无关，适用于高度倾斜或含有异常值的数据

    2. 马氏距离$d(x,y)=\sqrt{(x-y{)}^{\prime }{S}^{-1}(x-y)}$

       考虑了各变量之间的相关性，聚类过程中类一直变化使得协方差矩阵难以确定，不是理想的距离

• 相似系数

  • 相似性的度量，有的时候是相似系数大小，有的时候是绝对值的大小

    1.夹角余弦

    2.相关系数

    可以度量变量之间的相似性，样品之间的相似性

5.2 系统聚类法

系统聚类法通过一系列相继的合并或相继的分割进行的，分为聚集（少集多）的和分割（多分少）两种，n不大的情景

• 系统聚类法的性质：

  单调性：

  最短距离法，最长距离法，类平均法，离差平方和法，可变法和可变类平均具有单调性；

  重心法，中间距离法不具有单调性

• 最短距离法

  • 某一步D(m)中最小的元素不止一个，称为结；最短距离法容易产生结，且挑选长链聚类的倾向，链接倾向，不适合对分离很差群体聚类。

• 最长距离法

  • 最长距离法算出的距离法被异常值过分夸大，容易被异常值严重扭曲

• 类平均法

  • 比较好的系统聚类方法

• 重心法

  • 在处理异常值方面更稳健，在别的方面不如类平均法与离差评分和法效果好

• 中间距离法

• 离差平方和法（ward方法）

  • $D^2=W_m-W_k-W_l,W_u={\sum }_{i\in G_u}(x_i-{\overline{x}}_u{)}^{\prime }(x_i-{\overline{x}}_u)$
    固定类内样品数，反映了各自类内样品的分散程度
    离差平方和优于重心法，比较好的系统聚类方法
    对异常值很敏感，可以将异常值影响放大许多倍数

5.3 动态聚类法

系统聚类中被错误分类的样品不提供重新分类的机会，而动态聚类法允许样品从一个类到另一个类

• 动态聚类法：只能用于对样品的聚类，但不能用于对变量的聚类，Q型聚类
• k均值法：对初值有一定敏感性。经验表明：聚类过程中绝大多数重要变化均发生在第一次再分配中

（补）注意的点：

1. 变量数p=2或者3时，可通过观测散点图或旋转图从直观角度判断正规方法所做序列是否合适；
2. 直接观察效果未必不如正规聚类方法；
3. 类数目确定方法：给定阈值，观测散点图，使用统计量
4. 最短，最长距离法，类平均法样品(Q型聚类)变量(R型聚类)聚类都可以使用
5. 聚类个数为1时，不建议系统聚类或K均值法等正规聚类方法聚类

第六章. 主成分分析

定义：降维技术，用较少（不相关）变量代替大量相关变量的统计降维方法

应用：1）用少数几个主成分代替原始变量进行分析，因此需要对主成分给出符合实际背景意义的解释；
2）主成分只要达到目标的中间步骤：聚类，回归，评估正态性，寻找异常值，发现多重共线性，不必解释

是否中心化本质相同，

主成分不如原变量解释清楚

6.1 总体的主成分

$||a_1||=1条件下V(y_1)=a_1^{\prime }\Sigma a_1$达到最大，y1称为第一主成分

y2则应该信息与y1不重叠，$使得Cov(y_k,y_i)=0，||a_i||=1且V(y_i)=a_i^{\prime }\Sigma a_i达到最大$

• 主成分之间相互垂直，正交
• $y_i=t_i^{\prime }x(t_i^{\prime }是a_i满足条件下取的值)方差为特征根{\lambda }_i$

6.2 主成分的性质

• m个主成分对原始变量的贡献率
• 原始变量对主成分的影响$y_k=t_{1k}{x}_1+t_{2k}{x}_2+...+t_{pk}{x}_p,k=1,2...,p$
  • $t_{ik}$为第k主成分$y_k$在第i个原始变量上的载荷，反映了xi对yk的重要程度.
  • 在考察载荷时，也需要考察相关系数。
  • 载荷从多变量的角度出发，相关系数从单变量角度,因而在从协方差矩阵出发是合适的场合下前者一般应更值得重视。相关系数同载荷同符号，成正比。(载荷更好）
  • 大特征值的主成分与方差大的原始变量有密切联系，小特征值的主成分与方差小的原始变量有较强的联系。
  • 特征根（相对）非常小时说明存在多重共线性
• 相关矩阵求解主成分
  • 两种情况不适合从协方差矩阵进行主成分：
  1. 单位不全相同；
  2. 方差差异较大。
  • 此时需要先进行标准化之后在进行求解，等价于相关矩阵R
  • 原始变量方差之间差异越大，相关矩阵和协方差贡献率之间差异越明显，标准化不是无关紧要的

6.3 样本的主成分

• 用样本协方差矩阵与样本相关矩阵代替总体的进行求解；

样本主成分是使样本方差而非方差到达最大，是使样本协方差而非协方差为零

6.4 主成分分析的应用与注意问题

• 样本n的大小

不涉及求逆，允许$n\le p$，但不建议

• 关于时间序列数据

相关性较强，不适合

• 用于聚类分析

  • 目测法在主成分得分图上聚类（可以的，且不一定比专业的差，但一般只限于两个主成分的聚类）

  • 样品之间距离的计算主成分不如原始变量

  • 费希尔判别函数比主成分更适用于对聚类结果的图像评估：两个（或三个）费希尔判别得分构成的散点图能最大限度显示类之间的差别，但主成分得分构成的图形最大限度显现的是样品之间的差异，相对不太好。虽然主成分得分构成的散点图可以基本反映聚类效果，但效果逊色与费希尔判别

  • 但是费希尔判别函数得分图不适合聚类，它算是分类。

  • 不同时期的不能用主成分比较，也不能说明两个时期主成分分析都能成功

  • 定性数据问题：

    有序变量一般将其转化为间隔变量数据，再进行主成分分析；
    名义变量不能进行主成分分析

第七章. 因子分析

主成分推广与发展，目的用途与主成分类似

主成分与因子分析的区别：

1. 主成分涉及的只是一般的变量交换，不能作为一个模型描述，且不需要任何假定；因子分析有一个因子模型，有关键性假定
2. 主成分是原始变量的线性组合；但在因子分析中，原始变量是因子的线性组合，但因子却一般不能表示为原始变量的线性组合
3. 主成分分析中强调的是少数几个主成分解释总方差，但在因子分析中强调的是少数几个因子取描述协方差或相关系数
4. 主成分的解是唯一的，但因子分析的解可以有很多，较为灵活且在降维之后易得到解释
5. 主成分不会因提取个数而变化，因子分析会变化

7.1 正交因子模型

$x_i={\mu }_i+{\sum }_j{a}_{ij}{f}_j+{ϵ}_i$

• 数学模型

  $$\begin{gathered} x=\mu +Af+e \\ 假定如下： \\ E(f)=0 \\ E(e)=0 \\ V(f)=I \\ V(e)=D=diag(e_1^2,e_2^2...e_n^2) \\ Cov(f,e)=E(f{e}^{\prime })=0 \end{gathered}$$

• 解释：f是公共因子，$a_{ij}是x_i在f_j上的载荷，反映了因子f_j对变量x_i的重要性，A=(a_{ij})是因子载荷矩阵，ϵ是误差或特殊因子，模型为正交因子模型$

• 理解：
  公共因子互不相关，线性关系意义上信息互不重复；
  e与f1,f2,…fm都不相关
  协方差或相关系数与e都无关
  误差变异性难以控制，允许误差的方差不同

7.2 正交因子模型的性质

• ∑=AA’+D
  模型不受单位的影响
  模型不是唯一的

7.3 因子载荷矩阵的统计意义

1. A的元素

   $Cov(x,f)=A,r(x_i,f_j)=Cov(x_i,f_j)=a_{ij}$

2. A的行元素平方和

   ${\sigma }_{ii}=h_i^2+{\sigma }_i^2,h{i}^2=\sum a_{ij}^2$反映了公共因子对xi的影响，可以看出是公共因子f对xi的共性方差
   σi^2是特殊因子ei对xi的方差贡献，也称为特殊方差

3. A的列元素平方和$g_j^2={\sum }_{i=1}^p{a}_{ij}^2$
   gj^2反映了公共因子fj对x的影响，衡量公共因子fj重要性的一个尺度，可以视为fj对x1…xp的总方差贡献。

4. A的元素平方和
   tr(AA’)=∑hi^2
   tr(A’A)=∑gj^2

   这是f对总方差的累计贡献

   因子模型拟合得好，公共因子所解释方差占比较高（通常）

7.4 参数估计

主成分与主因子求解过程中确定因子数m,极大似然估计必须在求解之前确定m

因子数增加时，原来因子的估计载荷并不变的解有主成分解和主因子解

• 主成分法
  • 是一种参数估计方法，不计算任何主成分，且旋转后因子解释与主成分明显不同
  • 主成分法和主成分分析：解释完全相同；但主成分法是参数估计方法，不计算任何主成分
• 主因子法
  • $R^{\ast }=R-D=A{A}^{\prime }$ 约相关矩阵,对角线元素是$h_i^2$,而不是1，非对角线元素与R完全一样
    迭代主因子法，某些数据迭代是不收敛的，可能导致共性方差大于1
  • 需要指出${\hat{R}}^{\ast }$是非负定矩阵，但常常会有一些小的负特征根
    • 因子假设未必完全成立
    • 是相减得到的，估计误差可能使得非负定
  • 因子数增加时，原来的因子估计载荷不变，fi对x的总方差贡献不变g^2
  • 若从样本协方差矩阵S出发主因子解，可以将1/sii作为初始估计进行迭代，sii是S^{-1}的第i个对角线元素
  • 主成分法可以看做是特殊的主因子法
• 极大似然法
  • 各因子所解释总方差比例未必像主成分解和主因子解得到的依次递减，且需要正态性假设，但离开正态性假定未必不可用，主要是残差矩阵接近于0

7.5 因子旋转

• 因子是否易于解释，取决于因子载荷A的元素结构；
• 为了改善因子解释时考虑因子旋转，每一列上的元素的绝对值尽量地大小拉开（注意：并非一定有利于因子的解释，可用于因子的聚类，提供了因子解释成功的更大可能性与更多机会
• 经过正交旋转之后残差矩阵保持不变，主要是AA’不变的
• 因子正交旋转不改变共性方差，累计贡献率
• 因子载荷图中坐标轴是因子的取值

7.6 因子得分

• 加权最小二乘法（无偏）
• 回归法（更高精度，有偏，因此常用）

第八章. 对应分析

8.1 行轮廓与列轮廓

列联表

对应矩阵的元素和为1

行，列轮廓

8.2 独立性检验和总惯量

• 行、列独立性检验（卡方检验）

  ${\chi }^2[(p-1)(q-1)]=n{\sum }_{i=1}^p{\sum }_{j=1}^q\frac{(p_{ij}-p_{i.}{p}_{.j}{)}^2}{p_{i.}{p}_{.j}}$

• 总惯量：行与列变量之间关联性的度量

  $$\begin{gathered} I=\frac{{\chi }^2}{n}={\sum }_{i=1}^p{\sum }_{j=1}^q\frac{(p_{ij}-p_{i.}{p}_{.j}{)}^2}{p_{i.}{p}_{.j}}={\sum }_i{p}_{i.}(r_i-c{)}^{\prime }{D}_c^{-1}(r_i-c) \\ ={\sum }_j{p}_{.j}(c_j-r{)}^{\prime }{D}_r^{-1}(c_j-r) \end{gathered}$$

• 总惯量可看成是行轮廓到其中心的卡方距离的加权平均，列轮廓到其中心的卡方距离的加权平均。度量行、列轮廓之间的总变差，行与列的关联性越强，轮廓之间的差异性就越大。

  • 总惯量为0的情况
    1.行列独立
    2.行轮廓相等
    3.列轮廓相等

8.3 行、列轮廓的坐标

各行点和列点在第i坐标轴上的坐标平方的加权平方等于i²，第i主惯量，度量在第i坐标轴上的变差，列联表数据在第i维上的信息量

各行点与各列点在每一坐标轴的中心都是0，且变差程度相同。

8.4 对应分析图

• 行(列)相近，表明相应的两个行（列）轮廓越相近，如果两个行（列）点越接近（远离），两个行（列）轮廓越相似（不相似），但列点与行点之间的距离没有意义
• 对于相近的行点与列点，离原点越远，说明关联性越强，其类别组合的实际频数越是明显高于两变量独立情形下的期望频数，如果在原点附近则其关联性弱，或者几乎无关联性
• 考察关联性，不能值是比较原始评书大小

寻找列联表行与列之间关联的一种低维图形表示法