【一起入门MachineLearning】中科院机器学习第*课-线性鉴别分析:Fisher判别

专栏介绍:本栏目为 “2021秋季中国科学院大学周晓飞老师的机器学习” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门Machine Learning吧

目录

  • 线性鉴别的思想
  • 目标函数
    • 类别间距离
    • 类别内距离
    • 求解最佳投影方向

要讲清楚fisher鉴别,必须从内积的几何意义开始说起

线性鉴别的思想

  • 当空间中分布了很多个样本点时,我们将所有的样本都往一个方向上投影,期望投影的结果能将这些样本很好的分类开。
  • 假设空间中有两类样本,如果往w1方向投影,在投影结果中,两类样本有交叉的部分;往w2方向投影时,两类样本被明显地分开了,显然w2方向是更佳的投影方向。
  • 线性鉴别的目标,就是找到这个最佳的投影方向,求出向量w是什么
    【一起入门MachineLearning】中科院机器学习第*课-线性鉴别分析:Fisher判别_第1张图片

目标函数

上文说的最佳投影结果,实际上是期望 类内平均距离尽可能小,类间距离尽可能大用数学符号描述也就是:
【一起入门MachineLearning】中科院机器学习第*课-线性鉴别分析:Fisher判别_第2张图片
目标是使得J最大。

类别间距离

求类间距离分为两步:

  • 首先求出每一类样本的均值点
  • 再将这个均值点向w上投影,得到投影后的均值
  • 用两者差的平方来描述类别之间的距离。
    【一起入门MachineLearning】中科院机器学习第*课-线性鉴别分析:Fisher判别_第3张图片

类别内距离

求类间距离分为一下几步:

  • 先求样本均值点μ
  • 将均值点以及所有样本点向w方向上投影
  • 用投影的均方差描述类别内距离
  • 求出所有类别的投影均方差并把他们求和即可。
    【一起入门MachineLearning】中科院机器学习第*课-线性鉴别分析:Fisher判别_第4张图片

求解最佳投影方向

以二分类为例,我们已经知道求解的目标是找到一个使得J最大的w即可。经过一些优美的数学运算就可以把最佳的W求出来(这个后面补起来下次一定)。
【一起入门MachineLearning】中科院机器学习第*课-线性鉴别分析:Fisher判别_第5张图片
实际上对于二分类只需要计算出两个类样本的均值点,以及两个样本的类内散度矩阵即可。

现在来看一道练习题:【一起入门MachineLearning】中科院机器学习-期末题库-【计算题7】

你可能感兴趣的:(#,机器学习,机器学习,人工智能,算法)