多元统计分析复习整理

样本几何

• 随机向量的均值和协方差矩阵

  
  
  
  
  

• 单变量样本、均值向量、偏差向量的几何表示 p91*
  均值向量、偏差向量是定义在样本个数维度空间的。偏差向量的平方和（自身内积、模）除以样本个数是样本方差

  
  
  

• 多变量样本之间的协方差、样本相关系数
  两个偏差向量的内积就是样本离差阵，除以样本个数就是样本协方差

  
  
  

• 向量之间距离
  使用欧氏距离的话要求向量各分量之间独立且方差相等，对其进行拓展，引入马氏距离 p23*。马氏距离考虑了各变量方差不同，变量之间存在相关性。其处理方法分别是伸缩变换和旋转变换。

多元正态分布

• 单总体线性变换

  
  
  

• 多总体线性组合（样本模型）

  
  
  

• 特别地（均值向量正态分布）

  
  
  

• 更一般地（两个线性组合之间的协方差）

  
  
  
  因为系数是平方,所以方差还是相加
  

• 特别地，大样本下，中心极限，可用样本均值代替期望；可用样本协方差和矩阵代替上述协方差矩阵

  
  
  

• 条件分布

  
  
  

• 变量独立性分解

  
  
  

矩阵多元正态分布

• 之前考虑的都是随机向量的期望，协方差，下面考虑随机矩阵的期望与协方差

  
  
  

  其中正态的下标表示矩阵行列，而不是np；矩阵期望就是对矩阵每一个元素求期望；矩阵协方差需要把矩阵拉直成向量，即一列接一列，再按照标准的向量形式求协方差；或者一步到位：将矩阵先拉直，再按照向量的形式处理

• 矩阵拉直和先转置再拉直，期望和协方差之间的关系

  
  
  
  
  
  
  
  
  

• 利用上述性质

  
  

• 特别地，来自同一个总体的独立同分布的样本（向量）构成的矩阵
  每一行是一个样本向量

  
  
  

• 转置后的样本矩阵

  
  
  
  
  
  

• 上述样本矩阵服从矩阵正态分布

  
  
  

  其中两个向量的Keronecker积可以简写成向量点乘形式。一个样本矩阵到底是那种形式根据矩阵正态的下标判断

多元正态分布

Wishart分布

• 就是n个零均值独立同分布的随机向量乘积矩阵之和（样本离差阵），类比卡方分布（n个零均值标准正态独立同分布的随机变量平方之和）

  
  
  
  
  
  

• 性质

• 叠加性
  本质是样本的叠加

T^2分布

• 参考t分布

  
  
  

  其中乘以n是Wishart矩阵除以自由度带来的，Wishart矩阵的自由度也是T^2的自由度。

• T^2具体的分布形式

  
  
  
  
  
  

• 特别地，样本均值和样本离差阵

  
  
  

  其中n开根号是分配给样本均值，使得其协方差与样本的协方差一致；n-1是样本离差阵的自由度，对应定义中的n

• 或者
  
  
  按照样本均值的协方差来定义T^{2。其中S是已经除过自由度(n-1)的Wishart矩阵（S本身并不服从Wishart分布），为了与样本均值的协方差一致，需要除以n。这样理解的话可以将T}2看作是样本均值到给定点的马氏距离。

似然比检验

• 似然函数和最大似然估计

• 因为样本是独立同分布的，因此n个样本的联合概率密度函数是每个样本分布直接相乘。如果已经有了观测数据，带入样本联合概率密度函数，则变量就只剩下了模型参数，求此时样本联合密度分布的最大值，得到的就是模型参数的极大似然估计
  

  其中协方差矩阵是有偏估计量

• 似然比检验
  对于似然函数某个参数的假设，在假设的约束下求似然函数的最大值；接着利用无约束的似然函数最大值，两者比值就是似然比。如果似然比偏小，假设被拒绝

假设检验问题

• 单总体均值检验
  假设一个向量，判断均值向量是否与之相等

• 总体协方差已知
  构造卡方分布

  
  
  

• 总体协方差未知
  构造T^2统计量。

• 两个总体的均值比较检验（协方差相同）P217*
  零假设：两个总体均值向量相等

• 总体协方差已知

  
  
  
  
  

• 总体协方差未知
  根据两种样本一起估计协方差阵，比重按照自由度比重分配

  
  
  

  样本离差阵可以直接相加，自由度为(m+n-2)

多重比较

多重比较是为了确定具体哪个分量不等。当均值的零假设被拒，接着使用多重比较。因为多重比较每一个假设都是标量假设，因此统计量选择的是t，考虑的分布也是t分布，而不是T^2。t分布是双边分布，置信水平需要除以2

proof

• 单总体均值多重比较
• 均值向量各元素全等；备择假设：均值向量各元素不全相等
  利用C矩阵，把下面的每一个元素减去第一个元素，将原问题转化为假设均值向量为0

• 均值向量每个元素都有各自的零假设

  
  
  

  Bonferroni不等式方法

  
  
  

多元线性模型

注意X是已知的常数矩阵，不是变量

• 根据误差矩阵分布得到观测矩阵的分布

  
  
  

• 列满秩时参数满足的分布

  
  
  

• 假设检验

• 似然函数

  
  
  

• 检验问题1

  
  
  
  

• 检验问题2