经典分类算法——感知机算法

文章目录

  • 经典分类算法——感知机算法
    • 1 感知机算法思想:错误修正
    • 2 感知机算法(原始形式):形式化表示
    • 3 感知机算法(对偶形式):形式化表示
    • 4 感知机算法:随机梯度下降(SGD)
    • 5 感知机算法:一种变形
    • 6 感知器算法:示例
    • 7 感知器算法:拓展——多分类
    • 8 感知机算法:小结

经典分类算法——感知机算法

经典分类算法——感知机算法_第1张图片

​ 二维分类问题是一个经典的机器学习问题,感知机算法(Perception Approach)是解决该问题的经典算法之一。虽然其本身是一类简单的线性判别算法,但是通过扩展又可以与许多其他算法密切相关。因此感知机算法尽管很少单独使用,但它对于理解其他模型和算法非常有用,是建立知识体系的一个枢纽。

1 感知机算法思想:错误修正

经典分类算法——感知机算法_第2张图片
经典分类算法——感知机算法_第3张图片

2 感知机算法(原始形式):形式化表示

经典分类算法——感知机算法_第4张图片

​ 当一个点被误分类位于分类超平面错误一侧时,则调整w,b的值,使分类超平面向该误分类点的一侧移动,以减少该误分类点与超平面之间的距离,直至分类超平面越过该误分类点使其被正确分类。

3 感知机算法(对偶形式):形式化表示

经典分类算法——感知机算法_第5张图片

经典分类算法——感知机算法_第6张图片

4 感知机算法:随机梯度下降(SGD)

​ 梯度的本意是一个向量,表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(梯度的方向)变化最快,变化率最大(为该梯度的模)。

经典分类算法——感知机算法_第7张图片

在机器学习算法中,有时候需要对原始的模型构建损失函数,然后通过优化算法对损失函数进行优化,以便寻找到最优的参数,使得损失函数的值最小,其中使用较多的就是基于梯度下降的优化算法(Gradient Descent, GD),而在梯度下降算法中随机梯度下降法(Stochastic Gradient Descent, SGD)应用较为广泛,它采用单个训练样本的损失来近似平均损失,每次只随机抽取一条数据来做梯度下降,接近全局最优,大大减小了计算消耗。

随机梯度下降法的求解过程可以概括如下:

1-随机一个初始值,在多元线性回归中,我们随机一组 ,带入到损失函数中,得到一个初始点。

2-让这个点按照负梯度的方向运动,更新参数

3-迭代第二步,当迭代此处达到某一个数,或者上一步和这一步的结果误差小于某个数,就认为是最优解了,停止迭代。迭代次数和最小误差值都是可以设置的.

经典分类算法——感知机算法_第8张图片

5 感知机算法:一种变形

经典分类算法——感知机算法_第9张图片
经典分类算法——感知机算法_第10张图片

6 感知器算法:示例

经典分类算法——感知机算法_第11张图片

经典分类算法——感知机算法_第12张图片
经典分类算法——感知机算法_第13张图片
经典分类算法——感知机算法_第14张图片

7 感知器算法:拓展——多分类

经典分类算法——感知机算法_第15张图片

8 感知机算法:小结

  • 感知机算法是一种朴素简单的算法,通过随机梯度下降不断修正错误直至满足分类正确或达到要求。
  • 感知机算法是后面许多分类算法的鼻祖,比如SVM、深度神经网络。
  • 单层感知机只能对线性可分的向量进行分类,两层及以上的感知机可以模拟任意的函数,后来逐渐演变发展为深度学习中的神经网络。

你可能感兴趣的:(AI,感知机,分类)