【机器学习---03】感知机模型

1. 感知机模型是什么？有什么作用？

1. 定义：感知机模型是建立将训练数据完全划分为2类的超平面。

   注意：

   1. 由于感知机只关心将样本分开，并不关心样本x与标签y的关系，所以属于生成模型与判别模型中的判别模型。
   2. 如果训练数据集是线性可分的，那么感知机一定能找到那个平面。如果不是，则最后无法获得超平面，这是感知机的局限性。

2. 作用：感知机模型是解决分类问题的线性模型或确定模型或参数模型。输入是实例的特征向量，输出的是实例的类别，分别是 +1 和 -1 。

2. 三要素

2.1 模型

感知机模型为：线性函数 套上一个 符号函数。

• 对于式子中符号的解释：
  
  其中，超平面已经能将样本分开了，而将划分再进行符号化处理，是为输出分类结果服务的。
• 证明为什么w是直线（高维空间下为超平面）的法向量
  

2.2 策略

1. 损失函数：采用自定义损失函数：误分类点到超平面的总距离。
2. 经验风险：
   

• 函数距离 与 几何距离 公式：
  

2.3 算法

1. 目标函数是什么？答：经验风险最小化

2. 怎么对目标函数求最优参数？答：采用随机梯度下降。随机梯度下降有两种形式：

   1. 原始形式
      

   关于 w，b 的更新公式，是如何根据经验风险求梯度得到？点击此处

   2. 对偶形式