LDA中的三个散度矩阵

LDA中的三个散度矩阵

在学习LDA（Linear Discriminate Analysis）的时候接触到了散度矩阵的概念，并且很多文章提到到混合散度矩阵等于类间散度矩阵与类内散度矩阵之和。我自己证明了一下。

总体散度矩阵（total scatter matrix）

St=∑i=1C∑j=1nip(i,j)(xij−μ)(xij−μ)T

其中 xij 表示第 i 类的第 j 个样本， p(i,j) 表示 xij 出现的概率， μ 为总体均值， C 为类数， ni 为第 i 类的样本数。

类内散度矩阵（within-class scatter matrix）

Sw=∑i=1Cp(i)Si

其中 Si=∑Ci=1p(i)(μi−μ)(μi−μ)T ，表示第 i 类的类间散度矩阵， p(i) 为第 i 类出现的概率，并且 p(i)p(j|i)=p(i,j) .

类间散度矩阵（between-class scatter matrix）

Sb=∑i=1Cp(i)(μi−μ)(μi−μ)T

其中 μi 是第 i 类的均值。我们可以对 St 作分解，

St=∑i=1C∑j=1nip(i,j)(xij−μi+μi−μ)(xij−μi+μi−μ)T=∑i=1C∑j=1nip(i,j)(xij−μi)(xij−μi)T+∑i=1C∑j=1nip(i,j)(μi−μ)(μi−μ)T+∑i=1C∑j=1nip(i,j)(xij−μi)(μi−μ)T+∑i=1C∑j=1nip(i,j)(μi−μ)(xij−μi)T

将上式中的四部分分别记为 A,B,C,D , 那么

ABC同理D=∑i=1Cp(i)∑j=1nip(j|i)(xij−μi)(xij−μi)T=∑i=1Cp(i)Si=Sw=∑i=1Cp(i)(μi−μ)(μi−μ)T∑j=1nip(j|i)=∑i=1Cp(i)(μi−μ)(μi−μ)T=Sb=∑i=1Cp(i)⎛⎝∑j=1nip(j|i)(xij−μi)⎞⎠(μi−μ)=∑i=1Cp(i)⎛⎝∑j=1nip(j|i)xij−μi⎞⎠(μi−μ)=0=0

所以 St=Sb+Sb