机器学习基石课程第二讲

第二讲：Learning to Answer Yes/No

1、课程回顾：

课程回顾

机器学习流程

2、感知器模型

我们通过感知机模型来体会下假设空间。

屏幕快照 2017-07-08 下午1.57.57.png

感知机模型的简化：

感知机模型简化

在二维空间中的感知机模型如下图所示：
·

二维空间中的感知机模型

感知机模型又称为线性分类器。
可以看出，二维空间中的感知机模型的假设空间就是平面中的所有直线。

3、线性感知机模型（PLA）的学习

二维空间中有无数条线，我们如何确定哪条线是我们想要的线，能够将数据正确的分类呢？
我们的出发点就是先随便假设一条线，然后对这条线进行修正，使其分类效果越来越好。
修正感知机模型主要从错误入手，错误就是指分类错误的点：

错误

对错误的点如何修正呢？可以根据下图直观的看出，如果y是正例我们却将其分类为负例，也就是说w和x的向量内积是负的，我们想要变为正的，只要简单的将w和x进行相加即可，对于将负例分类为正例的，只需要w和x相减即可：如下图所示：

修正

修正

修正直到所有的数据都被正确分类。
但是，模型一定会停下来，即所有的数据点都被正确分类么？假设它可以停下来，那么对于新来的数据点，它一定会正确分类么？

3、线性可分情况

线性可分与线性不可分：

线性可分与线性不可分

我们如何证明在不断修正的情况下，我们的权重向量与目标权重向量越来越接近：

线性可分情况下PLA可收敛证明1

线性可分情况下PLA可收敛证明2

4、线性不可分情况

在线性不可分的情况下，无法找到一条直线使得所有的点被正确分类。那么我们需要找到的一条直线是尽量使多的点被正确分类。

线性不可分

这时我们可以选择一种贪心的算法（口袋运算）：

贪心算法

如果你喜欢我写的文章，可以帮忙给小编点个赞或者加个关注，我一定会互粉的！
如果大家对机器学习感兴趣，欢迎跟小编进行交流，小编微信为sxw2251，加我要写好备注哟！

我的微信