机器学习笔记_ 降维_2：PCA

矩阵相关

• 正交矩阵： Q∈Rn∗n , QQT=QTQ=I

  1. QT=Q−1
  2. Q=[q1,...,qn]的列组成标准正交组

• 特征值和特征向量

  λ1,⋯,λm是方阵A的m个特征向量，p1,⋯,pm是依次对应的特征向量，若λ1,⋯,λm各不相同，则p1,⋯,pm线性无关

• 实对称矩阵

  1. 协方差矩阵，二次型矩阵，无向图的邻接矩阵等都是对称矩阵
  2. 实对称阵的特征值是实数
  3. 实对称阵的不同特征值的特征向量正交

• 设A是n阶对称矩阵，则必有正交阵p，使得

  P−1AP=PTAP=Λ =>合同变换， A和Λ互为合同矩阵

• A和B都是n阶矩阵，若有可逆矩阵P，
  p−1AP=B
  则A和B是相似矩阵

• 协方差=随机变量的变换趋势；
• Cov(x,y)>0,变化趋势相同
• Cov(x,y)>0,x和y不想关
• Cov(x,y)>0,变化趋势相反

• 协方差矩阵：

  cij=E{[Xi−E(Xi)][Xj−E(Xj)]}=Cov(Xi,Xj)

PCA：样本点投影方向的方差最大

• 设n个特征的m个样本，矩阵 A∈Rm∗n

  A=⎡⎣⎢⎢⎢⎢a11a21⋮am1a11a22⋮am2⋯⋯⋮⋯a1na2n⋮amn⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢aT1aT2⋮aTm⎤⎦⎥⎥⎥⎥⎥

设单位向量u(u的模是1)

A=⎡⎣⎢⎢⎢⎢a11a21⋮am1a11a22⋮am2⋯⋯⋮⋯a1na2n⋮amn⎤⎦⎥⎥⎥⎥∗u=⎡⎣⎢⎢⎢⎢⎢aT1aT2⋮aTm⎤⎦⎥⎥⎥⎥⎥∗u=⎡⎣⎢⎢⎢⎢⎢aT1∗uaT2∗u⋮aTm∗u⎤⎦⎥⎥⎥⎥⎥

• 求上述 Au 的方差(计算中对Au去均值化,Au减去均值，除以标准差做归一化，这样可以使得E(Au)=0)

Var(Au)=Var(aT1u,⋯,aTmu)T=∑i=1m(aTiu−E(Au))2 (协方差矩阵)
因为E(Au)=0<去均值化>
=(Au)T(Au)=uTATAu

令方差为 λ

UTATAu=λ=>uuTATAu=uλ
=>
ATAu=λu
其中 ATA是协方差矩阵

• 令u1设置为与具有最大特征值 \ambda1 的特征向量时，方差会达到最大，第一主成分
• λ 的大小是原始观测数据的特征在向量u的方差方向上的投影值的方差大小

核心

• 主成分就是需找 x的线性函数，aTx,是其相应的方差最大，即Var(aTx)=aTΣa最大，且aTa=1,Σ是协方差

• 前m个主成分不少于80%