Linear Discriminant Analysis

LDA理论

Linear Discriminant Analysis_第1张图片
Linear Discriminant Analysis_第2张图片
  • 假设我们有m维样例
  • 我们寻求一个标量y通过映射样本集x到一条线上
  • maximize样本类型分开的line
Linear Discriminant Analysis_第3张图片
  • 各个类型的点求他们的“均值点”
  • 比如有A类型的 (1,2,3)(3,4,5) 那么μ=(2,3,4)
  • 我们参考他们均值点投影之后的距离
Linear Discriminant Analysis_第4张图片
  • 只考虑之前J(ω)不行
  • 样本点均匀分布在椭圆里,投影到横轴x1上时能够获得更大的中心点间距J(ω),但是由于有重叠,x1不能分离样本点。投影到纵轴x2上,虽然J(ω)较小,但是能够分离样本点。因此我们还需要考虑样本点之间的方差,方差越大,样本点越难以分离。


    Linear Discriminant Analysis_第5张图片
  • 我们使用另外一个度量值,称作散列值(scatter),对投影后的类求散列值
  • 不同类别的样本点越分开越好,同类的越聚集越好,也就是均值差越大越好,散列值越小越好。正好,我们可以使用J(w)和S来度量


    Linear Discriminant Analysis_第6张图片

    Linear Discriminant Analysis_第7张图片
  • 定义中间部分,就是去掉ω的转置
  • 这个式子其实就是某种意义的方差,协方差
Linear Discriminant Analysis_第8张图片

Linear Discriminant Analysis_第9张图片

Linear Discriminant Analysis_第10张图片

Linear Discriminant Analysis_第11张图片

Linear Discriminant Analysis_第12张图片

LDA实例

Linear Discriminant Analysis_第13张图片

Linear Discriminant Analysis_第14张图片

Linear Discriminant Analysis_第15张图片

Linear Discriminant Analysis_第16张图片

Linear Discriminant Analysis_第17张图片

Linear Discriminant Analysis_第18张图片

Linear Discriminant Analysis_第19张图片

Linear Discriminant Analysis_第20张图片

Linear Discriminant Analysis_第21张图片

Linear Discriminant Analysis_第22张图片

Linear Discriminant Analysis_第23张图片

你可能感兴趣的:(Linear Discriminant Analysis)