机器学习&&深度学习——感知机

‍作者简介：一位即将上大四，正专攻机器学习的保研er
上期文章：机器学习&&深度学习——softmax回归的简洁实现
订阅专栏：机器学习&&深度学习
希望文章对你们有所帮助

线性回归已经完结了， 接下来要开始讲解多层感知机，在这之前，先介绍感知机的相关内容，有助于更好的理解。

感知机的概念

对上图，给定输入x，权重w，和偏移b，感知机输出：
$$\begin{gathered} o=\sigma (<w,x>+b) \\ \sigma (x)=\{\begin{array}{l}\begin{array}{r}1，当x>0时\\ -1，otherwise\end{array}\end{array} \end{gathered}$$
（上式中的otherwise也可能是输出1和0）
容易看出感知机就是一个二分类问题。
和线性回归相比，感知机就是简单的两个离散数，而线性回归中会输出多个实数。

训练感知机

这其实很好理解，if中的判断条件小于等于0的话，说明预测和实际情况是相反的，这时候就需要进行更新了。
这个更新，其实等价于使用批量大小为1的梯度下降，并使用了下面的损失函数：
$$l(y,x,w)=max(0,-y<w,x>)$$

感知机例子

下面是区分猫狗的图像，用感知机非常适合解决这种二分类问题。

感知机缺陷

一个最大的缺陷，他所能解决的问题，一定要是一条线可以进行切割和分别的，那么如果让感知机来解决XOR问题：

两个红点表示输入的两个数都是一样的符号，而绿点表示两个输入的数是异号的。这就导致我们无法用一条直线来分开这个问题。
连一个XOR函数都没办法解决的话，感知机的缺陷可想而知，而在之后将会进行多层感知机的讲解。