【一起入门MachineLearning】中科院机器学习第*课-线性鉴别分析：Fisher判别

专栏介绍：本栏目为 “2021秋季中国科学院大学周晓飞老师的机器学习” 课程记录，不仅仅是课程笔记噢～ 如果感兴趣的话，就和我一起入门Machine Learning吧

要讲清楚fisher鉴别，必须从内积的几何意义开始说起

线性鉴别的思想

• 当空间中分布了很多个样本点时，我们将所有的样本都往一个方向上投影，期望投影的结果能将这些样本很好的分类开。
• 假设空间中有两类样本，如果往w1方向投影，在投影结果中，两类样本有交叉的部分；往w2方向投影时，两类样本被明显地分开了，显然w2方向是更佳的投影方向。
• 线性鉴别的目标，就是找到这个最佳的投影方向，求出向量w是什么。
  

目标函数

上文说的最佳投影结果，实际上是期望 类内平均距离尽可能小，类间距离尽可能大用数学符号描述也就是：

目标是使得J最大。

类别间距离

求类间距离分为两步：

• 首先求出每一类样本的均值点
• 再将这个均值点向w上投影，得到投影后的均值
• 用两者差的平方来描述类别之间的距离。
  

类别内距离

求类间距离分为一下几步：

• 先求样本均值点μ
• 将均值点以及所有样本点向w方向上投影
• 用投影的均方差描述类别内距离
• 求出所有类别的投影均方差并把他们求和即可。
  

求解最佳投影方向

以二分类为例，我们已经知道求解的目标是找到一个使得J最大的w即可。经过一些优美的数学运算就可以把最佳的W求出来（这个后面补起来下次一定）。

实际上对于二分类只需要计算出两个类样本的均值点，以及两个样本的类内散度矩阵即可。

现在来看一道练习题：【一起入门MachineLearning】中科院机器学习-期末题库-【计算题7】