机器学习笔记_降维_1:LDA(fisher)

LDA分类器（2分类问题）

• 存在超平面将两类数据分开，存在旋转向量，将两类数据投影到1维，并且分开.

• 通过矩阵 w 将数据 x 投影到 y
  y=w¯Tx
  寻找阈值 w0,y≥w0，为类C1,否则是类C2

LDA 算法

• 设 C1有N1个点，C2有N2个点

  投影前，类内均值=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪m1¯m2¯=1N1∑i=1N1x1¯=1N1∑i=1N1x2¯
  投影后，类内均值={m1m2=wTm1¯=wTm2¯
  松散度=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪s21=∑i=1N1(yi−m1)2s22=∑i=1N1(yi−m2)2

fisher判别准则

• 目标函数

  J(w¯)=(m2−m1)2s21+s22
  =>
  J(w¯)=w¯TSBw¯w¯TSWw¯

  其中 SB,SN 可以通过已知样本计算得到：

SB=(m2¯−m1¯)(m2¯−m1¯)T

• ∂J(w¯)∂w¯=>

• w¯正比于S−1W(m¯2−m¯1)

完成投影方向

• 阈值的确定：转换为1维情况做分类
  假设分布，极大似然完成剩余工作.

• LDA 适用于2分类，且2分类均是正态分布
• LDA依赖于均值