感知机PLA------机器学习基石

1.PLA算法简介

今天在b站上学习了林轩田老师讲解的PLA算法，故写此博客，以加深理解。
PLA算法，总称为(Perception Learning Algorithm),适用于二维及高维的线性划分问题，问题的答案只有相反的两个回答，如同意和不同意，及格和不及格等，即PLA算法可用于某些二分类问题，最终求得一条可以很好分开两类数据的直线。PLA算法的实现采用逐点修正的方法，在算法开始时，随机选择一条直线，进行分开，然后逐一遍历样本点，在遍历过程中，使类别归属错误的点进行修正，当然，在修正某一点时有可能会使别的原本归属正确的点，进入了错误的类别，在经过n次循环遍历之后，使样本点划分完成。

2.数学化问题

先给出一个实例

学生评判系统升级，现在评选一个学生是否优秀需要   
从学科成绩、科研成绩、竞赛成绩、体育素质......
等n个角度来评测、每一个角度所占的评选标准比例又不一样。
我们如何根据上一届优秀学生各方面成绩来设定各角度权比和优
秀标准、完善评判系统，从而判断一个同学是否优秀呢？

我们把问题转化为以下形式：

每个同学有n个评测角度(x)，每个评测角度有不同的标
准占比(w)，当该学生得分超过某一门槛(threshold)
时即可判定其为优秀，我们需要根据上一届优秀学生和
非优秀学生的样本，找到最合理的w和threshold来构
建评判系统。

数学化该问题：

如果该同学判定为优秀，则：

反之，若判定不优秀，则：

如果判定为优秀，我们将其value设为1，反之设为-1，则可以用到该函数：

故，我们可以将其改写为以下形式：

只需判断h(x)为 1 或者 -1 即可判定该同学是否优秀。
对此我们可以进一步化简，令：

所以，函数可以写为：

课程部分PPT理解

下面证明Wt收敛，即逐点修正的循环有终止（样本点集合必须原本就是线性可分的）。

但是这里只能证明Wt+1>Wt,但并不能证明划分样本点的线的方向改变了，因为也有可能只是向量中的数都增加了一些值，所以还需要证明是由于线的方向改变才使Wt收敛了。

参考：
https://www.cnblogs.com/chenzhihong294/p/11329669.html