深度学习入门系列：感知机-多层感知机演变

1、感知机

感知机

       感知机接收多个输入信号，输出一个信号，上图是一个接收两个输入信号的感知机的例子。 x1、 x2是输入信号，y是输出信号， w1、 w2是权重（w是weight的首字母）。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1x1、 w2x2）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活” 。这里将这个界限值称为阈值，用符号 θ表示。

      上述内容可以使用如下数据公式表示：

感知机表达式

2、感知机应用-逻辑门电路

逻辑与门电路

与门是有两个输入和一个输出的门电路，与门仅在两个输入均为1时输出1，其他时候则输出0。输入信号和输出信号的对应的“真值表”如下：

与门真值表

考虑用感知机来表示这个与门，确定能满足图上真值表的 w1、 w2、 θ的值。当

(w1, w2, θ) = (0.5, 0.5, 0.7) 或(w1, w2, θ)=(0.5, 0.5, 0.8)都满足与门的条件。

3、感知机变形-权重和偏置

把 (w1, w2, θ)中的θ换成-b，于是就可以用如下公式来表示感知机的行为。

权重偏置感知机表达式

虽然有一个符号不同，但表达的内容是完全相同的。此处， b称为偏置， w1和w2称为权重。感知机通过公式可以实现与门逻辑关系，是否其他数字电子钟的逻辑门也可以实现尼？

4、异或门引出感知机缺陷

异或门

异或门仅当x1或x2中的一方为1时，才会输出1。真值表如下：

真值表

能否通过上述数据公式实现异或门尼？

下面通过画图分析观察

与门：

与门坐标系绘图

与门在坐标系上的图像如上，可以通过一条直线将结果分开

异或门：

异或门

异或门无法通过直线将结果分开，可以通过曲线分开

曲线分割异或门结果

参照上面与门数学公式可以看出，感知机的局限性就在于它只能表示由一条直线分割的空间。异或门弯曲的曲线无法用感知机表示。

5、异或门弯曲曲线如何实现-多层感知机

异或门

数字电路中异或门可以通过组合与门、与非门、或门实现异或门

上图中把s1作为与非门的输出，把s2作为或门的输出，填入真值表中。观察x1、 x2、 y，可以发现确实符合异或门的输出。

异或门真值表

下面试着用感知机的表示方法（明确地显示神经元）来表示这个异或门，如下图：

2层感知机

      上图中将最左边的一列称为第0层，中间的一列称为第1层，最右边的一列称为第2层。与门、或门是单层感知机，而异或门是2层感知机。叠加了多层的感知机也称为多层感知机。

        在2层感知机中，先在第0层和第1层的神经元之间进行信号的传送和接收，然后在第1层和第2层之间进行信号的传送和接收，该运行过程可以比作流水线的组装作业。第1段（第1层）的工人对传送过来的零件进行加工，完成后再传送给第2段（第2层）的工人。第2层的工人对第1层的工人传过来的零件进行加工，完成这个零件后出货（输出）。