带你了解深度学习之感知机

---

本文将简单介绍感知机这一算法。

感知机是什么

感知机接收多个输入信号，输出一个信号，感知机的信号只有“流/不流”（1/0）两种取值。在本文中， 0
对应“不传递信号”， 1对应“传递信号”。

• 示例

图示是一个接收两个输入信号的感知机的例子。
x1、 x2是输入信号，y是输出信号， w1、 w2是权重（w是weight的首字母）。图中的○称为“神
经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1x1、 w2x2）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活” 。这里将这个界限值称为阈值，用符号θ表示。

这就是感知机的工作原理。用数学公式表达：

注：感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的重要性的作用。也就是说，权重越大，对应该权重的信号的重要性就越高。

简单逻辑电路

与门

我们在逻辑电路中学过与门（AND gate）。与门是有两个输入和一个输出的门电路。
输入信号和输出信号的对应表称为“真值表”，如下图所示。

与门仅在两个输入均为1时输出1，其他时候则输出0。

下面考虑用感知机来表示这个与门。需要做的就是确定能满足上图的w1、 w2、 θ的值。那么，设定什么样的值才能制作出这样感知机呢？

实际上，有无数多个选择值。比如，当(w1, w2, θ) = (0.5, 0.5, 0.7) 时，可以满足，当 (w1, w2, θ)为(0.5, 0.5, 0.8)或者(1.0, 1.0, 1.0)时，同样也满足。

与非门和或门

接着，我们再来考虑一下与非门（NAND gate）。 NAND是Not AND的意思，与非门就是颠倒了与门的输出。真值表如图所示。

要表示与非门，可以用(w1, w2, θ) = (−0.5, −0.5, −0.7)这样的组合（当然还有无限种组合）。实际上，只要把实现与门的参数值的符号取反，就可以实现与非门。

接下来看或门。或门是“只要有一个输入信号是1，输出就为1”的逻辑电路。真值表如图所示。

从上述三种逻辑电路我们可以看出，与门、与非门、或门的感知机构造是一样的。
实际上， 3个门电路只有参数的值（权重和阈值）不同。也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以像“变色龙演员”表演不同的角色一样，变身为与门、与非门、或门。

注：这里决定感知机参数的并不是计算机，而是我们人。我们看着真值表这种“训练数据”，人工考虑（想到）了参数的值。而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行。 学习是确定合适的参数的过程，而人要做的是思考感知机的构造（模型），并把训练数据交给计算机。

感知机的实现

简单实现

现在，我们用Python来实现刚才的与门逻辑电路。
输入以下代码：

def AND (x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1
print(AND (0,0))
print(AND (1,1))
print(AND (0,1))
print(AND (1,1))

输出结果：

这样与门就实现了。

导入权重和偏置

刚才的与门的实现比较直接、容易理解，但是考虑到以后的事情，我们将其修改为另外一种实现形式。
首先，更新下数学表达式，引入偏置值b。

如式所示，感知机会计算输入信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1，否则输出0。

下面，我们使用NumPy库，按上式的方式实现感知机。在这个过程中，我们用Python的解释器逐一确认结果。
代码如下：

>>> import numpy as np
>>> x = np.array([0, 1]) # 输入
>>> w = np.array([0.5, 0.5]) # 权重
>>> b = -0.7 # 偏置
>>> w*x
array([ 0. , 0.5])
>>> np.sum(w*x)
0.5
>>> np.sum(w*x) + b
-0.19999999999999996

如上例所示，在NumPy数组的乘法运算中，当两个数组的元素个数相同时，各个元素分别相乘，因此w*x的结果就是它们的各个元素分别相乘（[0, 1] [0.5, 0.5] => [0, 0.5]）。之后， np.sum(wx)再计算相乘后的各个元素的总和。最后再把偏置加到这个加权总和上，就完成了的计算。

使用权重和偏置的实现

使用权重和偏置，可以像下面这样实现与门。

def AND(x1, x2):
	x = np.array([x1, x2])
	w = np.array([0.5, 0.5])
	b = -0.7
	tmp = np.sum(w*x) + b
	if tmp <= 0:
		return 0
	else:
		return 1

偏置和权重的作用是不一样的。具体地说， w1和w2是控制输入信号的重要性的参数，而偏置是调
整神经元被激活的容易程度（输出信号为1的程度）的参数。比如，若b为−0.1，则只要输入信号的加权总和超过0.1，神经元就会被激活。但是如果b为−20.0，则输入信号的加权总和必须超过20.0，神经元才会被激活。像这样，偏置的值决定了神经元被激活的容易程度。

下面我们继续完成与非门和或门。

def NAND(x1, x2):
	x = np.array([x1, x2])
	w = np.array([-0.5, -0.5]) # 仅权重和偏置与AND不同！
	b = 0.7
	tmp = np.sum(w*x) + b
	if tmp <= 0:
		return 0
	else:
		return 1

def OR(x1, x2):
	x = np.array([x1, x2])
	w = np.array([0.5, 0.5]) # 仅权重和偏置与AND不同！
	b = -0.2
	tmp = np.sum(w*x) + b
	if tmp <= 0:
		return 0
	else:
		return 1

我们已经介绍过，与门、与非门、或门是具有相同构造的感知机，区别只在于权重和偏置参数的值。

感知机的局限性

我们已经了解了感知机可以实现与门、与非门、或门三种逻辑电路。现在我们来考虑一下异或门（XOR gate）。

异或门

异或门也被称为逻辑异或电路。仅当x1或x2中的一方为1时，才会输出1（“异或”是拒绝其他的意思）。如图所示：

那么我们如何设置参数值？
实际上，用前面介绍的感知机是无法实现这个异或门的。

下面我们尝试通过画图来思考其中的原因。

回顾一下或门。或门的情况下，当权重参数(b, w1, w2) = (−0.5, 1.0, 1.0)时，可满足真值表条件。
此时，感知机用数学公式表达如下：

该感知机会生成由直线−0.5 + x1 + x2 = 0分割开的两个空间。其中一个空间输出1，另一个空间输出0，如图所示：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ae2TaL0q-1670678541367)(https://cdn.staticaly.com/gh/Eidell/image@main/img/20221210203018.png)]
或门在(x1, x2) = (0, 0)时输出0，在(x1, x2)为(0, 1)、 (1, 0)、 (1, 1)时输出1。图中，○表示0，△表示1。如果想制作或门，需要用直线将图中的○和△分开。实际上，刚才的那条直线就将这4个点正确地分开了。

那么，换成异或门的话会如何呢？

想要用一条直线将图中的○和△分开，无论如何都做不到。事实上，用一条直线是无法将○和△分开的

线性和非线性

上图中的○和△无法用一条直线分开，但是如果将“直线”这个限制条件去掉，就可以实现了。
因此，感知机的局限性就在于它只能表示由一条直线分割的空间。

像下图这样弯曲的曲线无法用感知机表示。另外，由曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间。

多层感知机

感知机不能表示异或门让人深感遗憾，但也无需悲观。实际上，感知机的绝妙之处在于它可以“叠加层”。接下来，我们将看到通过组合感知机（叠加层）就可以实现异或门。

已有门电路的组合

将与门、与非门、或门用下图的符号表示。

异或门可以通过下图所示的配置来实现。这里， x1和x2表示输入信号，y表示输出信号。

下面我们试着用Python来实现异或门。

def XOR(x1, x2):
	s1 = NAND(x1, x2)
	s2 = OR(x1, x2)
	y = AND(s1, s2)
	return y

这个XOR函数会输出预期的结果。

XOR(0, 0) # 输出0
XOR(1, 0) # 输出1
XOR(0, 1) # 输出1
XOR(1, 1) # 输出0

这样，异或门的实现就完成了。异或门是2层感知机。叠加了多层的感知机也称为多层感知机

注：感知机总共由3层构成，但是因为拥有权重的层实质上只有2层（第0层和第1层之间，第1层和第2层之间），所以称为“2层感知机”。不过，有的文献认为图中的感知机是由3层构成的，因而将其称为“3层感知机”。

从与非门到计算机

多层感知机可以实现比之前见到的电路更复杂的电路。比如，进行加法运算的加法器也可以用感知机实现。此外，将二进制转换为十进制的编码器、满足某些条件就输出1的电路（用于等价检验的电路）等也可以用感知机表示。实际上，使用感知机甚至可以表示计算机！

那么，什么构造的感知机才能表示计算机呢？层级多深才可以构建计算机呢？
理论上可以说2层感知机就能构建计算机。这是因为，已有研究证明，2层感知机可以表示任意函数。但是，使用2层感知机的构造，通过设定合适的权重来构建计算机是一件非常累人的事情。实际上，在用与非门等低层的元件构建计算机的情况下，分阶段地制作所需的零件（模块）会比较自然，即先实现与门和或门，然后实现半加器和全加器，接着实现算数逻辑单元（ALU），然后实现CPU。因此，通过感知机表示计算机时，使用叠加了多层的构造来实现是比较自然的流程。

小结

本章我们学习了感知机。感知机是一种非常简单的算法，大家应该很快就能理解它的构造。感知机是下一章要学习的神经网络的基础，因此本章的内容非常重要。