深度学习入门05-感知机的实现

上一篇我们学习了感知机的基本知识，之后利用感知机模型表示了简单逻辑电路：与门、与非门、或门。

简单来说，感知机可以看做一个数学模型，通过调整该模型中的各个参数，我们可以实现不同的逻辑功能，从而解决一些现实问题。在理解感知机基本原理的基础上，我们的目标是使用Python实现感知机的功能。下面，我们就朝着这个目标前进吧。

1 与门逻辑功能实现

我们先定义一个输入参数为x1和x2的二输入与门函数AND。代码如下：

def AND(x1, x2):   # 定义二输入与门函数
    w1, w2, theta = 1.1, 1.1, 1.2  # 初始化内置参数
    tmp = x1*w1 + x2*w2  # 计算加权和
    if tmp <= theta:  # 小于等于阈值返回0
        return 0
    else:  # 大于阈值返回1
        return 1

AND函数在初始化时，将内置参数w1、w2和theta设定为1，函数的功能是计算函数输入参数与内置参数的加权和，之后跟设定的阈值比较，当大于阈值时返回1，否则返回0。将二输入的所有情况传送给AND，并将结果打印出来：

print('AND(0, 0) 输出为 ' + str(AND(0, 0)))
print('AND(0, 1) 输出为 ' + str(AND(0, 1)))
print('AND(1, 0) 输出为 ' + str(AND(1, 0)))
print('AND(1, 1) 输出为 ' + str(AND(1, 1)))

输出结果：

AND(0, 0) 输出为 0
AND(0, 1) 输出为 0
AND(1, 0) 输出为 0
AND(1, 1) 输出为 1

跟与门真值表对比，可以看到我们实现了与门的逻辑功能。

与门真值表

按照同样的方法，设定不同的内置参数我们还可以实现与非门和或门，不过，为了更加深入地了解感知机，让我们来对它们的实现稍作修改。

2 导入权重和偏置

我们先回顾一下上一篇文章中关于感知机的数学公式：

在这个公式中，我们做一个数学形式上的代换，令θ = -b，带入后，得到下面的公式：

这两个公式本质上是完全相同的，就是表现形式不一样而已，但是通过这种变换，我们可以引入如下概念：

b：偏置参数

w1, w2：权重参数

按照新公式，我们可以这样理解感知机行为。感知机计算输入的信号和对应权重参数乘积的和，再加上偏置参数，若结果大于0则输出1，否则输出0。下面，我们使用NumPy实现第二种形式的感知机。

In[2]: import numpy as np
In[3]: x = np.array([0, 1])  # 输入变量
In[4]: w = np.array([1.1, 1.1])  # 权重参数赋值为(1, 1)
In[5]: b = -1.2  # 偏置参数赋值为1
In[6]: w*x  # 计算权重和输入变量的乘积
Out[6]: array([0. , 1.1])   # 乘积结果
In[7]: np.sum(w*x)  # 计算乘积和
Out[7]: 1.1
In[8]: np.sum(w*x) + b  # 权重乘积和加上偏置参数的结果
Out[8]: -0.09999999999999987  # 大约为-0.1，浮点小数计算有误差

在之前的文章中我们学习过，在NumPy数组的乘法运算中，当两个数组元素个数相同时，各个元素分别相乘，因此w*x的结果就是([0, 1] * [1, 1] = [0, 1])，之后再使用numpy.sum方法计算数组中各个元素的总和，最后在加上偏置参数就得到第二个公式的计算结果了。

3 使用权重和偏置的实现

按照权重和偏置公式的方式，我们将AND函数进行改写如下：

import numpy as np  # 导入numpy包
def AND2(x1, x2):  # 定义新的AND函数，命名为AND2
    x = np.array([x1, x2])   # 将输入变量x1 x2转换为numpy数组
    w = np.array([1.1, 1.1])  # 初始化权重参数
    b = -1.2  # 初始化偏置参数
    tmp = np.sum(w*x) + b  # 计算权重和加上偏置参数
    if tmp <= 0:  # 比较计算结果返回最终结果
        return 0
    else:
        return 1

按照之前的方式，打印计算结果：

print('AND2(0, 0) 输出为 ' + str(AND2(0, 0)))
print('AND2(0, 1) 输出为 ' + str(AND2(0, 1)))
print('AND2(1, 0) 输出为 ' + str(AND2(1, 0)))
print('AND2(1, 1) 输出为 ' + str(AND2(1, 1)))

输出结果为：

AND2(0, 0) 输出为 0
AND2(0, 1) 输出为 0
AND2(1, 0) 输出为 0
AND2(1, 1) 输出为 1

我们再把刚才的公式熟悉一下：

我们把-θ命名为偏置b，但是请注意，偏置b和权重w1、w2的作用是不一样的。具体地说，w1、w2是控制输入信号的重要性的参数，而偏置是调整神经元被激活（输出为1）的容易程度的参数。比如，如果b为-0.1，那么只要输入信号的加权总和超过0.1，神经元就会被激活。但如果b为-20.0，那么输入信号的加权总和需要超过20.0神经元才会被激活。因此说偏置决定了神经元被激活的容易程度。我们这里所说的w1、w2为权重，b为偏置，但是有时也可以将它们统称为权重。

4 与非门和或门的实现

下面，我们在实现与门的基础上，按照权重和偏置的方式实现与非门和或门。

首先是与非门。

def NAND(x1, x2):  # 定义与非门函数NAND
    x = np.array([x1, x2])   # 将输入变量x1 x2转换为numpy数组
    w = np.array([-1, -1])  # 初始化权重参数
    b = 1.2  # 初始化偏置参数
    tmp = np.sum(w*x) + b  # 计算权重和加上偏置参数
    if tmp <= 0:  # 比较计算结果返回最终结果
        return 0
    else:
        return 1

结果验证：

print('NAND(0, 0) 输出为 ' + str(NAND(0, 0)))
print('NAND(0, 1) 输出为 ' + str(NAND(0, 1)))
print('NAND(1, 0) 输出为 ' + str(NAND(1, 0)))
print('NAND(1, 1) 输出为 ' + str(NAND(1, 1)))

输出：

NAND(0, 0) 输出为 0
NAND(0, 1) 输出为 1
NAND(1, 0) 输出为 1
NAND(1, 1) 输出为 1

或门实现代码如下：

def OR(x1, x2):  # 定义或函数OR
    x = np.array([x1, x2])   # 将输入变量x1 x2转换为numpy数组
    w = np.array([1.1, 1.1])  # 初始化权重参数
    b = -1.0  # 初始化偏置参数
    tmp = np.sum(w*x) + b  # 计算权重和加上偏置参数
    if tmp <= 0:  # 比较计算结果返回最终结果
        return 0
    else:
        return 1