分类——LDA、QDA

LDA（Linear Discriminant Analysis）

1. 模型：
   
   Pr(Y=k|X=x)=πkfk(x)∑kl=1πlfl(x)
   
   假设：第k类的观测值来自于多元高斯分布 N(μk,Σ)
   即：
   
   fk(x)=Pr(X=x|Y=y)
   
   
   f(x)=1(2π)P/2|Σ|1/2exp[−12(x−μ)−1Σ−1(x−μ)]

2 . P表示特征的数量、 Σ 表示协方差矩阵
当P = 1 时： f(x) 假设为一维高斯分布， Σ 用方差 σ2 表示,则

f(x)=1(2π)1/2σexp[−12σ2(x−μ)2]

问题：在实际中， fk(x) 是未知的，需要通过训练集预测，LDA(P=1)假设了 fk(x) 来自于一维高斯分布

再假设： σ21=σ22=...=σ2k=σ2 ,

将 fk(x) 代入模型，获得取某个特定x值时，记录术语第k类的概率
即：

Pk(x)=Pr(Y=k|X=x)=πk1(2π)1/2σexp[−12σ2(x−μk)2]∑kl=1πlfl(x)

Pk(x) 最大表示取x值的记录最有可能术语类别k

取对数且化简：

δk(x)=x∗μkσ2−μ2k2σ2+log(πk)

参数估计
实际的 Pk(x) 分布并不可知，因此需要估计 μ1..μk;π1...πk;σ2
LDA采用了plugging estimates方法进行参数估计：

μk^=1nk∑i:yi=kxi

πk^=nkn

σ2^=1n−k∑Kk=1∑i:yi=k(xi−μ^k2)

3.P>1
同理得：

δk(x)=xTΣ−1μk−12μTkΣ−1μk+log(πk)

参数估计的方法同上，需要估计协方差矩阵 Σ

4.评价：confusion matrix

QDA（Quadratic Discriminat Analysis）

与LDA**相同**，QDA也假设了每个类的观测值都来自于高斯分布
与LDA**不同**，QDA假设每个类有它们自己的协方差矩阵，即 N(μk,Σk)
因此：

δk(x)=−12(x−μk)TΣ−1(x−μk)−12log|Σk|+log(πk)

原因：

1.variance-bias trade-off : 在现实情况中，真实的分布f不能得到，需要通过观测值组成训练集来估计。训练集可能不完全也可能来自于不同的观测值，因此variance反应了不同数据集预测得到的 \f^ 和 \f 之间差距的变化度。bias反应了预测的误差。
2.QDA相比LDA需要估计更多的参数，当数据量足够大时，variance不再是主要的问题，选用QDA更好
3.当数据量较小时，LDA更常用。