线性判别分析(LDA) 是指在输入变量上构造线性判别函数的方法。即寻找一种变换,使得在某种意义下类间分离性最大,类内相异性最小。相对于PCA来讲,他是一种有监督的维数约简方法。
1. 在d维的特征空间中:
(1)各类样本均值向量mi
mi=1/Ni∑x∈Xix i=1,2
(2)样本类内离散度矩阵Si和总类内离散度矩阵Sw.
Si=∑x∈Xi(x-mi)(x-mi)T i=1,2
Sw=S1+S2
(3)样本类间离散度矩阵Sb
Sb=(m1-m2)(m1-m2)T
2.在一维Y空间上
(1)各类样本均值向量mi
_mi=1/Ni∑y∈Yiy i=1,2
(2)样本类内离散度矩阵_Si2和总类内离散度矩阵_Sw.
_Si=∑y∈Xi(y-_mi)2 i=1,2
_Sw=_S12+_S22
(3)样本类间离散度矩阵_Sb
_Sb=(_m1-_m2)2
Fisher准则函数为
J(w)=|m1-m2|2/(s12+s22),
使得该方程的值最大化
也就是使得类内散度足够小,类间三度足够大。
设y=wTx,
则有
(_m1-_m2)2=wTSbw
_Si2=wTSiw
JF(w)=(wTSbw)/(wTSww) 广义Rayleigh商
可以写为:
minw -1/2wTSBw
s.t. wTSww=C
L(w,λ)=wTSBw-λ(wTSww-C)
令导数为0,得
SBw=λSww
即:
Sw-1SBw=λw(Ax=λx的形式)
有:w=(R/λ)Sw-1(m1-m2), w*=Sw-1(m1-m2)